[논문 리뷰] Solving Missing-Annotation Object Detection with Background Recalibration Loss

Han Zhang, Fangyi Chen외 4명|arXiv (Cornell University)|2020. 02. 12.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 한정된 인스턴스 애너테이션을 가진 데이터셋에서 오브젝트 검출 성능을 향상시키기 위해 배경 재보정 손실(BRL)을 제안한다. 이는 IoU 임계값과 이미지 콘텐츠에 기반해 자동으로 학습 신호를 재가중함으로써 누락된 애너테이션으로 인한 오차를 완화하는 새로운 손실 함수이다. Focal Loss를 배경 영역의 동적 재보정으로 개선함으로써, BRL은 PASCAL VOC의 극단적인 누락 애너테이션 설정에서 mAP를 최대 6.4% 향상시키며, VOC 및 COCO 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

This paper focuses on a novel and challenging detection scenario: A majority of true objects/instances is unlabeled in the datasets, so these missing-labeled areas will be regarded as the background during training. Previous art on this problem has proposed to use soft sampling to re-weight the gradients of RoIs based on the overlaps with positive instances, while their method is mainly based on the two-stage detector (i.e. Faster RCNN) which is more robust and friendly for the missing label scenario. In this paper, we introduce a superior solution called Background Recalibration Loss (BRL) that can automatically re-calibrate the loss signals according to the pre-defined IoU threshold and input image. Our design is built on the one-stage detector which is faster and lighter. Inspired by the Focal Loss formulation, we make several significant modifications to fit on the missing-annotation circumstance. We conduct extensive experiments on the curated PASCAL VOC and MS COCO datasets. The results demonstrate that our proposed method outperforms the baseline and other state-of-the-arts by a large margin. Code available: https://github.com/Dwrety/mmdetection-selective-iou.

연구 동기 및 목표

• 누락된 인스턴스 애너테이션을 가진 데이터셋에서, 라벨이 없는 오브젝트가 배경으로 잘못 간주되는 문제를 해결한다.
• 일반적으로 라벨 누락에 취약한 일단단 검출기의 검출 성능을 향상시키기 위해, 불완전한 감독 환경을 처리할 수 있도록 손실 함수를 재설계한다.
• IoU 임계값과 입력 이미지 콘텐츠에 기반해 손실 신호를 동적으로 재보정하는 방법을 개발하여, 외부 검출기나 복잡한 샘플링 전략에 의존하지 않는다.
• 특히 극도로 낮은 애너테이션 밀도 상황에서 기존 방법들인 소프트 샘플링과 OHEM보다 뛰어난 성능을 달성한다.
• 완전히 애너테이션된 데이터셋에서 학습했을 때 성능 저하가 최소화되어 광범위한 적용이 가능하도록 보장한다.

제안 방법

• 배경 영역의 교차 엔트로피 손실을 정규화된 IoU 기반으로 재가중하는 Focal Loss의 변형인 배경 재보정 손실(BRL)을 제안한다.
• 임계값 기반 재보정 메커니즘을 도입: 어떤 양성 인스턴스와의 IoU가 사전 정의된 임계값 $ t $를 초과하면, 해당 앵커의 손실은 $ \alpha_t $ 배수로 감소하여 역전파 동안 기여도를 낮춘다.
• 재보정 정도를 제어하기 위해 학습 가능한 스케일링 인자 $ \alpha_t \in (0,1) $ 를 사용하며, $ \alpha_t = 0.1 $ 일 때 최적의 성능을 달성한다.
• BRL 손실을 RetinaNet과 같은 일단단 검출기 내부에 통합하여, 최소한의 아키텍처 변경으로도 효율적인 학습이 가능하도록 한다.
• 손실 함수를 미분 가능하고 엔드 투 엔드 트레이너블하게 설계하여, 혼란스러운 배경 영역에서의 기울기 흐름을 억제하면서도 기울기 전파를 유지한다.
• 기존 검출 프레임워크(MMDetection 등)와 호환되는 플러그인 방식으로 구현하였으며, 코드는 공개하였다.

실험 결과

연구 질문

• RQ1 외부 모델에 의존하지 않고, 누락 애너테이션 상황에서 오브젝트 검출기의 학습 신호를 동적으로 재보정할 수 있는 손실 함수를 설계할 수 있는가?
• RQ2 라벨이 없는 오브젝트가 배경으로 간주될 때, IoU 임계값 $ t $ 의 선택이 검출 성능에 어떤 영향을 미치는가?
• RQ3 희박한 애너테이션 설정 하에서, BRL이 Focal Loss, GHMC, OHEM 등의 기존 재가중 전략보다 일단단 검출기에서 뛰어난 성능을 내는가?
• RQ4 완전히 애너테이션된 데이터셋에서 BRL의 영향은 어떠한가? 성능 저하가 발생하는가?
• RQ5 BRL은 PASCAL VOC와 MS COCO와 같은 다양한 데이터셋에서 다양한 수준의 애너테이션 완전성 하에서도 일반화 가능한가?

주요 결과

• PASCAL VOC 2007의 극단적 설정(50% 애너테이션 제거)에서, $ t = 0.5 $ 이며 $ \alpha_t = 0.1 $ 일 때 BRL은 mAP 50를 0.662로 기록하여 기준 RetinaNet 대비 6.4% 향상되었다.
• 동일한 극단적 설정에서 mAP 75는 4.8% 향상되어, 다양한 IoU 임계값에서도 일관된 성능 향상을 보였다.
• COCO 2017 minival에서 50% 애너테이션 제거 상황에서, BRL은 기준 모델 대비 mAP 0.5:0.95를 9.0% 향상시켰으며, OHEM를 적용한 Faster R-CNN를 초월하는 성능을 기록했다.
• 제거 실험 결과, $ t = 0.5 $ 가 최적의 성능를 내며, 높은 임계값은 학습의 불안정성과 낮은 수렴을 유도하는 것으로 확인되었다.
• 그림 3에서 보듯이, BRL은 모든 IoU 수준에서 뛰어난 성능 유지를 보이며, 다양한 검출 난이도에 대한 강건성을 입증했다.
• 완전히 애너테이션된 COCO에서 학습했을 때 BRL은 mAP에 0.7% 이하의 성능 저하만을 유발하여, 표준 학습 환경에 미치는 부정적 영향이 최소화됨을 확인했다.