[논문 리뷰] Soft Sampling for Robust Object Detection

Zhe Wu, Navaneeth Bodla외 4명|arXiv (Cornell University)|2018. 06. 18.

Advanced Neural Network Applications참고 문헌 25인용 수 47

한 줄 요약

본 논문은 누락된 주석하에서 객체 탐지기의 견고성을 연구하고, Overlap-Based Soft Sampling (OSS)을 제안하여 RoI 그래디언트를 재가중함으로써 주석이 불완전한 PASCAL VOC 및 Open Images V3/V4에서 성능을 향상시킨다.

ABSTRACT

We study the robustness of object detection under the presence of missing annotations. In this setting, the unlabeled object instances will be treated as background, which will generate an incorrect training signal for the detector. Interestingly, we observe that after dropping 30% of the annotations (and labeling them as background), the performance of CNN-based object detectors like Faster-RCNN only drops by 5% on the PASCAL VOC dataset. We provide a detailed explanation for this result. To further bridge the performance gap, we propose a simple yet effective solution, called Soft Sampling. Soft Sampling re-weights the gradients of RoIs as a function of overlap with positive instances. This ensures that the uncertain background regions are given a smaller weight compared to the hardnegatives. Extensive experiments on curated PASCAL VOC datasets demonstrate the effectiveness of the proposed Soft Sampling method at different annotation drop rates. Finally, we show that on OpenImagesV3, which is a real-world dataset with missing annotations, Soft Sampling outperforms standard detection baselines by over 3%.

연구 동기 및 목표

• 현대 탐지기에 대한 누락된 주석의 영향력을 동기화하고 정량화한다.
• CNN 기반 탐지기가 부분 감독에 대해 놀랍도록 견고하다는 것을 보여준다.
• 주석이 불완전할 때 성능 격차를 줄이기 위한 간단한 그래디언트 가중화 기법을 제안한다.
• 선정된 PASCAL VOC와 대규모 Open Images 데이터셋에서 방법의 효과를 입증한다.

제안 방법

• Gompertz 곡선을 사용하여 양성 인스턴스와의 중첩도에 따라 RoI 그래디언트 가중치를 감소시키는 Overlap-based Soft-Sampling (OSS) 스킴을 도입한다.
• 다수의 음수를 보유하는 것이 유익하다고 주장하고, 소프트 가중치가 모든 제안들에 대한 훈련 신호를 보존한다.
• 선택적으로 감지 점수 기반 소프트 샘플링을 대안 재가중 방식으로 탐구한다.
• 다양한 주석 드롭 비율에서 OSS를 평가하고, 드롭된 박스와 대응 제안이 무시되는 상한선과 기준선과 비교한다.
• OSS가 재훈련 사이클 없이 기존 탐지기에 plug-in될 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 누락된 주석이 학습 신호와 탐지기 성능에 어떤 영향을 미치는가?
• RQ2 RoI 그래디언트의 간단한 재가중이 훈련 중 비표시 객체의 영향을 완화할 수 있는가?
• RQ3 부분 주석이 있는 벤치마크에서 중첩 기반 소프트 샘플링이 hard-negative mining 및 표준 기준선과 어떻게 비교되는가?
• RQ4 제안된 방법이 불완전한 주석이 있는 대규모 실제 데이터셋(Open Images)에 일반화되는가?

주요 결과

• 누락된 주석으로 학습된 탐지기는 PASCAL VOC에서만 미미한 성능 저하를 보이며(예: 30% 누락 라벨이 IoU 0.5에서 mAP를 81.28에서 76.75로 감소).
• Overlap-based Soft-Sampling (OSS)은 30% 드롭에서 mAP를 78.24로 향상시켜 상한선 79.26에 근접(베이스라인 대비 1.5% 증가).
• 주석 드롭이 증가함에 따라 OSS가 간격을 지속적으로 좁히며, 더 높은 드롭 비율에서 약 4% 정도의 간격을 회복하고 테스트된 범위에서 상한선의 약 1% 이내를 유지한다.
• Open Images V3 하위집합(Open50)에서 OSS는 0.5 IoU에서 45.92% mAP를 달성하여 baseline(42.57%)보다 3% 이상 우수하다.
• OSS는 여러 설정에서 hard-negative mining보다 우수한 성능을 보였으며, 더 큰 음수 풀과 소프트 가중치를 함께 유지하는 것이 더 나은 학습 신호를 제공한다.