[논문 리뷰] The Treasure Beneath Multiple Annotations: An Uncertainty-aware Edge Detector

Caixia Zhou, Yaping Huang외 4명|arXiv (Cornell University)|2023. 03. 21.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 에지 검출에서 레이블의 모호성(ambiguity)을 다루기 위해 에지 애너테이션을 학습 가능한 가우시안 분포로 간주하는 새로운 프레임워크인 불확실성 인식 에지 검출(UAED)을 제안한다. 여기서 분산(variance)은 불확실성의 척도로 기능한다. 높은 불확실성(어려운) 샘플을 우선시하기 위해 적응형 손실 가중치를 사용함으로써, UAED는 다양한 벤치마크에서 최신 기준(SOTA) 성능을 달성하면서도 효율적이고 다양한 백본 아키텍처와 호환된다.

ABSTRACT

Deep learning-based edge detectors heavily rely on pixel-wise labels which are often provided by multiple annotators. Existing methods fuse multiple annotations using a simple voting process, ignoring the inherent ambiguity of edges and labeling bias of annotators. In this paper, we propose a novel uncertainty-aware edge detector (UAED), which employs uncertainty to investigate the subjectivity and ambiguity of diverse annotations. Specifically, we first convert the deterministic label space into a learnable Gaussian distribution, whose variance measures the degree of ambiguity among different annotations. Then we regard the learned variance as the estimated uncertainty of the predicted edge maps, and pixels with higher uncertainty are likely to be hard samples for edge detection. Therefore we design an adaptive weighting loss to emphasize the learning from those pixels with high uncertainty, which helps the network to gradually concentrate on the important pixels. UAED can be combined with various encoder-decoder backbones, and the extensive experiments demonstrate that UAED achieves superior performance consistently across multiple edge detection benchmarks. The source code is available at \url{https://github.com/ZhouCX117/UAED}

연구 동기 및 목표

• 다수의 인간 애너테이터가 생성한 에지맵에 내재된 모호성과 레이블링 편향을 해결하기 위해.
• 에지 검출에서 불확실성을 노이즈가 아닌, 어려운 구조적으로 중요한 픽셀을 나타내는 신호로 모델링하기 위해.
• 고불확실성 픽셀을 우선시하는 손실 재가중 전략을 통해 에지 검출 성능을 향상시키기 위해.
• 백본 아키텍처에 큰 계산 오버헤드 없이 다양한 인코더-디코더 백본과 호환되는 플러그 앤 플레이 모듈을 개발하기 위해.

제안 방법

• 결정론적 픽셀 단위의 레이블을 학습 가능한 가우시안 분포로 변환하며, 평균은 예측된 에지맵이고 분산은 별도의 디코더 브랜치를 통해 추정된다.
• 예측된 분산을 불확실성 추정치로 사용하여, 다수의 애너테이터 간의 이견을 반영한다.
• 높은 불확실성을 가진 픽셀의 손실 기여도를 증가시키는 적응형 가중치 손실을 설계하여, 모델이 어려운 모호한 샘플에 집중하도록 유도한다.
• 에지 예측과 불확실성 추정을 동시에 최적화하는 다중 태스크 손실을 사용하여 네트워크를 훈련하며, 불확실성은 다수의 애너테이션 분산으로 지도된다.
• CNN 기반(VGG, EfficientNet)과 트랜스포머 기반(SegFormer) 인코더를 포함한 다양한 인코더-디코더 아키텍처에 UAED를 플러그인 모듈로 통합한다.
• 백본을 수정하지 않고도 불확실성 맵을 활용하여 훈련을 유도함으로써, 추론 비용을 낮춘다.

실험 결과

연구 질문

• RQ1 다수의 에지 애너테이션에서의 불확실성 모델링이 에지 검출 성능 향상에 기여할 수 있는가?
• RQ2 높은 불확실성을 가지는 픽셀—즉, 애너테이터 간의 이견이 큰 픽셀—은 더 구조적으로 중요한 에지를 나타내는가?
• RQ3 고불확실성 픽셀에 초점을 맞춘 적응형 손실 가중치 전략이 기존 또는 고정된 가중치 전략보다 우월한가?
• RQ4 제안된 불확실성 인식 모듈은 다양한 백본 아키텍처에 일반화 가능한가?
• RQ5 최신 기준 모델들과 비교해 성능 향상은 이뤄지지만, 효율성은 유지되는가?

주요 결과

• UAED는 BSDS500 데이터셋에서 ODS 0.829, OIS 0.847, AP 0.892를 기록하며, 베이스라인 및 다른 불확실성 추정 방법보다 뛰어난 성능을 달성했다.
• 제안된 적응형 가중치 손실은 VGG, EfficientNet, SegFormer를 포함한 모든 테스트된 백본 아키텍처에서 일관되게 성능 향상을 이끌어냈다.
• Multicue 데이터셋에서 UAED는 일관된 성능 향상을 보이며, 다양한 애너테이션 분포에 대해 강건함을 입증했다.
• 단일 RTX 3090에서 추론 속도가 17 FPS로 향상되어, EDTER와 같은 트랜스포머 기반 모델(5 FPS)을 능가했다.
• 절단 분석(Ablation studies) 결과, 제안된 불확실성 기반 손실 가중 전략이 기존 또는 고정된 가중치 전략보다 유의미하게 뛰어난 성능을 보였다.
• UAED가 생성한 불확실성 맵은 모호성이 높은 에지 영역을 명확히 강조하며, 고불확실성과 구조적으로 중요한 픽셀 간의 상관관계를 확인했다.