[논문 리뷰] Learning from Noisy Anchors for One-stage Object Detection

Hengduo Li, Zuxuan Wu외 4명|arXiv (Cornell University)|2019. 12. 11.

Advanced Neural Network Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 회귀 및 분류 네트워크 출력에서 유도된 동적 청결도 점수를 도입하여 일단 단계 객체 검출기에서 레이블 노이즈를 줄이는 방법을 제안한다. 이 점수는 소프트 레이블 및 재가중 인자로 작용하여 COCO에서 다양한 백본에 대해 추론 비용을 추가로 들지 않고 RetinaNet 성능을 약 2% 향상시킨다.

ABSTRACT

State-of-the-art object detectors rely on regressing and classifying an extensive list of possible anchors, which are divided into positive and negative samples based on their intersection-over-union (IoU) with corresponding groundtruth objects. Such a harsh split conditioned on IoU results in binary labels that are potentially noisy and challenging for training. In this paper, we propose to mitigate noise incurred by imperfect label assignment such that the contributions of anchors are dynamically determined by a carefully constructed cleanliness score associated with each anchor. Exploring outputs from both regression and classification branches, the cleanliness scores, estimated without incurring any additional computational overhead, are used not only as soft labels to supervise the training of the classification branch but also sample re-weighting factors for improved localization and classification accuracy. We conduct extensive experiments on COCO, and demonstrate, among other things, the proposed approach steadily improves RetinaNet by ~2% with various backbones.

연구 동기 및 목표

• IoU 임계값에 기반한 이진 앵커 레이블링(양/음성)의 내재된 노이즈, 즉 의미적으로 유의미하지만 부분적으로 겹치는 앵커를 잘못 레이블링하는 문제를 해결하기 위해.
• 노이즈가 있는 레이블의 영향을 줄이기 위해 하드 이진 레이블을 연속적이고 학습 가능한 청결도 점수로 대체함으로써.
• 예측된 신뢰도에 기반해 앵커를 동적으로 가중하여 분류 및 정렬 정확도를 향상시키기 위해.
• 특히 NMS 동안 분류 신뢰도와 정렬 정확도 사이의 격차를 줄이기 위해.
• 추론 시 추가 계산 비용이 들지 않아 실세계 배포에 실용적인 방법을 개발하기 위해.

제안 방법

• 각 앵커에 대해 정렬 정확도(회귀 헤드에서 유도)와 분류 신뢰도(분류 헤드에서 유도)의 조합으로 청결도 점수를 계산한다.
• 청결도 점수는 분류 브랜치를 지도하는 데 소프트 레이블로 사용되며, 이로 인해 노이즈가 있는 샘플에서의 과신뢰를 줄인다.
• 이 점수는 분류 및 회귀 손실 함수에 비선형 재가중 인자로 사용되어 훈련 중에 고품질 앵커를 우선시한다.
• 이 방법은 엔드 투 엔드로 미분 가능하며 추론 시 추가 계산 비용이 없다.
• 네트워크 예측을 레이블 품질의 프록시로 활용함으로써 레이블 불확실성을 암묵적으로 모델링한다.
• 정렬 및 분류 브랜치를 그들의 출력 간 상관관계를 통해 통합함으로써 훈련 일관성과 추론 간 일致성을 향상시킨다.

실험 결과

연구 질문

• RQ1 네트워크 출력에서 도출된 연속적이고 동적인 청결도 점수로 노이즈가 있는 앵커 레이블의 영향을 효과적으로 줄일 수 있는가?
• RQ2 청결도 점수에 기반한 소프트 레이블 사용이 분류 헤드의 일반화 능력 향상과 과신뢰 감소에 어떻게 기여하는가?
• RQ3 청결도 점수에 따라 앵커를 재가중할 경우 정렬 및 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법이 NMS 동안 분류 신뢰도와 정렬 정확도 간 격차를 줄이는가?
• RQ5 이 방법은 다양한 객체 크기, IoU 임계값, 백본 아키텍처에 걸쳐 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 방법은 COCO 데이터셋에서 다양한 백본에 대해 RetinaNet의 AP(평균 정밀도)를 약 2% 향상시켜 일관된 성과 향상을 보였다.
• NMS 이후 평균 IoU가 기준 모델(0.914) 대비 0.921로 향상되어 분류 신뢰도와 정렬 정확도 간의 보다 우수한 일치를 나타냈다.
• 분류 신뢰도와 IoU 사이의 피어슨 상관계수는 기준 모델의 0.169에서 제안 방법의 0.194로 증가하여 신뢰도와 정렬 품질 간 일관성 향상을 보여주었다.
• 이 방법은 막힘 또는 관련 없는 객체를 포함하는 애매한 앵커를 효과적으로 낮추어, 노이즈 제안에 대한 강건성을 입증했다.
• 정성적 분석을 통해 의미적으로 관련성이 낮지만 IoU가 높은 앵커가 낮게 가중되는 것을 확인하여, 모델이 레이블 노이즈를 탐지하고 완화할 수 있음을 검증했다.
• 이 방법은 다양한 IoU 임계값, 객체 크기, 최대 예측 수에 걸쳐 성능 향상을 유지하여 광범위한 적용 가능성을 보였다.