[논문 리뷰] NOTE-RCNN: NOise Tolerant Ensemble RCNN for Semi-Supervised Object Detection

Jiyang Gao, Jiang Wang외 3명|arXiv (Cornell University)|2018. 12. 01.

Advanced Neural Network Applications참고 문헌 21인용 수 7

한 줄 요약

이 논문은 소수의 시드 바운딩 박스와 대규모 이미지 수준 레이블을 활용하는 반감독 객체 검출을 위한 노이즈에 강건한 앙상블 RCNN인 NOTE-RCNN을 제안한다. 앙상블 분류 헤드, 사전 훈련된 티처로부터의 지식 정복, 부정적 손실 마스킹, 고품질 시드 애너테이션에 대해서만 박스 회귀 훈련을 통해 검출 정확도를 향상시키며, MSCOCO 2017에서 최고 성능을 기록한 43.7%의 mAP를 달성한다.

ABSTRACT

The labeling cost of large number of bounding boxes is one of the main challenges for training modern object detectors. To reduce the dependence on expensive bounding box annotations, we propose a new semi-supervised object detection formulation, in which a few seed box level annotations and a large scale of image level annotations are used to train the detector. We adopt a training-mining framework, which is widely used in weakly supervised object detection tasks. However, the mining process inherently introduces various kinds of labelling noises: false negatives, false positives and inaccurate boundaries, which can be harmful for training the standard object detectors (e.g. Faster RCNN). We propose a novel NOise Tolerant Ensemble RCNN (NOTE-RCNN) object detector to handle such noisy labels. Comparing to standard Faster RCNN, it contains three highlights: an ensemble of two classification heads and a distillation head to avoid overfitting on noisy labels and improve the mining precision, masking the negative sample loss in box predictor to avoid the harm of false negative labels, and training box regression head only on seed annotations to eliminate the harm from inaccurate boundaries of mined bounding boxes. We evaluate the methods on ILSVRC 2013 and MSCOCO 2017 dataset; we observe that the detection accuracy consistently improves as we iterate between mining and training steps, and state-of-the-art performance is achieved.

연구 동기 및 목표

• 객체 검출에서 바운딩 박스 애너테이션의 높은 비용 문제를 해결하기 위해, 제한된 시드 박스 애너테이션과 풍부한 이미지 수준 레이블을 활용한 반감독 학습 설정을 제안한다.
• 약한 감독 객체 검출에서 반복적인 훈련-탐색 과정에서 발생하는 레이블 노이즈(거짓 긍정, 거짓 부정, 정확하지 않은 경계) 문제를 해결한다.
• 소수의 애너테이션된 바운딩 박스만 존재하는 저자원 환경에서 검출 성능와 내구성을 향상시킨다.
• 노이즈가 있는 애너테이션에 강건하면서도 높은 국소화 및 분류 정확도를 유지하는 새로운 검출기 아키텍처를 개발한다.
• 대규모 이미지 수준 감독 조건에서도 소수의 시드 애너테이션으로 시작하여 반복적인 훈련-탐색 과정에서의 성능 향상이 일관되게 유지됨을 입증한다.

제안 방법

• 시드 애너테이션과 이미지 수준 레이블을 모두 활용하여 탐색 결과를 개선하는 반복적인 훈련-탐색 파이프라인을 제안한다.
• 박스 예측기에서 두 개의 분류 헤드 앙성 구조를 도입한다: 하나는 시드 박스에서만 훈련되고, 다른 하나는 시드 박스와 탐색된 박스 모두에서 훈련된다. 최종 신뢰도 예측에는 이들의 공조 결과를 사용하여 거짓 긍정을 줄인다.
• 원천 카테고리에서 사전 훈련된 검출기로부터 지식을 전이하는 정복 헤드를 추가하여 훈련을 정규화하고 노이즈 레이블에 대한 과적합을 방지한다.
• 박스 예측기에서 부정(백그라운드) 샘플에 대한 교차 엔트로피 손실을 마스킹하여, 훈련 중 거짓 부정 레이블의 영향을 완화한다.
• 박스 회귀 헤드의 훈련을 시드 애너테이션에만 제한하여 탐색된 박스의 정확하지 않은 경계에서 학습을 방지한다.
• 하이브리드 전략인 '하프-디스틸'을 사용한다: 초기 단계에서는 정복을 적용하여 애너테이션 품질을 향상시키고, 이후 단계에서는 정복을 비활성화하여 더 많은 탐색된 박스를 확보한다.

실험 결과

연구 질문

• RQ1 소수의 시드 바운딩 박스와 대규모 이미지 수준 레이블을 조합한 반감독 객체 검출 프레임워크가 완전히 약한 감독 방법보다 더 높은 성능을 달성할 수 있는가?
• RQ2 반복적인 탐색 과정에서 발생하는 세 가지 주요 노이즈 유형(거짓 긍정, 거짓 부정, 정확하지 않은 경계)에 대해 객체 검출기가 어떻게 강건해질 수 있는가?
• RQ3 원천 카테고리에서 사전 훈련된 검출기로부터의 지식 정복이 노이즈 레이블에서의 일반화 능력 향상과 과적합 감소에 얼마나 기여하는가?
• RQ4 탐색된 박스에서의 엔드 투 엔드 훈련 대비, 박스 회귀 훈련을 오직 시드 애너테이션에만 제한할 경우 국소화 정확도가 유의미하게 향상되는가?
• RQ5 탐색과 재훈련을 반복적으로 수행하는 제안서 개선 과정이 소수의 시드 애너테이션으로 시작하더라도 일관되게 검출 mAP를 향상시킬 수 있는가?

주요 결과

• 제안된 NOTE-RCNN는 MSCOCO 2017 데이터셋에서 기존 모든 방법을 능가하는 최고 성능인 43.7%의 mAP를 달성한다.
• ILSVRC 2013에서 정복을 적용하지 않은 경우 42.6%의 mAP를 기록하고, 정복을 적용한 경우 43.7%를 달성하여 이전 최고 성능인 39.9%를 초월한다.
• 초기 반복 단계에서 정복을 적용하고 이후 단계에서 비활성화하는 '하프-디스틸' 전략은 후속 단계에서 성능 향상을 이끌어내며, 높은 품질의 초깃점 애너테이션이 핵심임을 입증한다.
• 훈련-탐색 루프의 반복 과정에서 성능 향상이 일관되게 유지되며, 제안된 노이즈에 강건한 설계의 안정성과 효과성을 입증한다.
• 큰 수의 시드 애너테이션(예: 전체 MSCOCO)이 존재하는 경우에도, 세 번의 반복 동안 mAP가 32.2%에서 34.0%로 향상되며, 대규모 조건에서도 이미지 수준 데이터가 여전히 유용함을 보여준다.
• 제거 실험을 통해 앙성 헤드, 손실 마스킹, 정복, 시드 전용 회귀 등 각 구성 요소가 노이즈가 많은 환경에서 성능 향상에 기여하며, 특히 그 기여가 뚜렷하다.