[논문 리뷰] Towards Noise-resistant Object Detection with Noisy Annotations

Junnan Li, Caiming Xiong외 2명|arXiv (Cornell University)|2020. 03. 03.

Advanced Neural Network Applications참고 문헌 47인용 수 15

한 줄 요약

이 논문은 훈련 데이터의 레이블과 바운딩 박스 노이즈가 뒤섞여 있는 상황에서 모델 파라미터, 객체 레이블, 바운딩 박스 좌표를 동시에 최적화하는 노이즈에 강건한 객체 검출 프레임워크를 제안한다. 두 단계로 구성된 방법을 도입하여, 첫 번째로 분류기 간 이견과 객체성 점수를 활용해 국소화 오류와 레이블 오류를 분리하는 클래스 무관 바운딩 박스 보정을 수행하고, 두 번째로 소프트 레이블 보정과 클래스별 정교화를 위한 듀얼 헤드 지식 증류를 실시함으로써, PASCAL VOC 및 MS-COCO에서 높은 노이즈 수준에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Training deep object detectors requires significant amount of human-annotated images with accurate object labels and bounding box coordinates, which are extremely expensive to acquire. Noisy annotations are much more easily accessible, but they could be detrimental for learning. We address the challenging problem of training object detectors with noisy annotations, where the noise contains a mixture of label noise and bounding box noise. We propose a learning framework which jointly optimizes object labels, bounding box coordinates, and model parameters by performing alternating noise correction and model training. To disentangle label noise and bounding box noise, we propose a two-step noise correction method. The first step performs class-agnostic bounding box correction by minimizing classifier discrepancy and maximizing region objectness. The second step distils knowledge from dual detection heads for soft label correction and class-specific bounding box refinement. We conduct experiments on PASCAL VOC and MS-COCO dataset with both synthetic noise and machine-generated noise. Our method achieves state-of-the-art performance by effectively cleaning both label noise and bounding box noise. Code to reproduce all results will be released.

연구 동기 및 목표

• 훈련 데이터에 레이블 노이즈와 바운딩 박스 노이즈가 뒤섞여 있을 때 정확한 객체 검출기를 훈련하는 데 도전하는 것.
• 청정 애너테이션에 의존하지 않고, 오직 노이즈가 있는 데이터에서만 작동하는 자기 보정 학습 프레임워크를 개발함으로써 청정 애너테이션에 대한 의존도를 제거하는 것.
• 공유된 손실 신호로 인해 서로 뒤섞여 있는 레이블 노이즈와 바운딩 박스 노이즈의 영향을 분리하는 것.
• 고비용이거나 가용하지 않은 고품질 애너테이션을 가진 실제 환경에서 일반화 능력과 강건성을 향상시키는 것.

제안 방법

• 클래스에 관계없이 바운딩 박스를 최적화함으로써 클래스 레이블과 별개로 노이즈가 있는 바운딩 박스를 보정하는 클래스 무관 바운딩 박스 보정(CA-BBC)을 도입하며, 분류기 이견 최소화와 객체성 점수 최대화를 통해 수행된다.
• 동일한 이미지 영역을 예측하는 두 개의 분리된 검출 헤드를 사용하여, 지도 레이블이 없는 상태에서 분류기 간 이견 기반으로 바운딩 박스를 보정할 수 있도록 한다.
• 듀얼 헤드에서의 지식 증류를 통해 소프트 레이블을 생성하고 클래스별 바운딩 박스 오프셋을 정교화하며, 성능 향상을 위한 온도 조절 소프트 레이블 날카움 조정을 적용한다.
• 노이즈 보정 단계와 모델 훈련 단계를 번갈아가며 수행함으로써, 애너테이션과 모델 파라미터를 함께 최적화하는 자기 향상 루프를 구현한다.
• 훈련 중 두 헤드가 충분히 다를 수 있도록 보장하기 위해 분산도 측도(분류기 이견)를 사용하여 노이즈 필터링 능력을 향상시킨다.
• CA-BBC 단계에서 객체성 점수를 활용해 저신뢰도 바운딩 박스를 가짜 양성으로 거부한다.

실험 결과

연구 질문

• RQ1 두 단계 노이즈 보정 프레임워크가 객체 검출에서 레이블 노이즈와 바운딩 박스 노이즈를 효과적으로 분리할 수 있는가?
• RQ2 클래스에 관계없이 바운딩 박스를 보정하는 방법이 레이블 오류와 국소화 오류가 동시에 존재할 경우 강건성을 향상시키는가?
• RQ3 소프트 레이블과 정교화된 바운딩 박스를 활용한 듀얼 헤드 지식 증류가 단일 헤드 또는 기준 노이즈 보정 방법보다 우월한가?
• RQ4 소프트 레이블 생성에서 온도 하이퍼파라미터가 노이즈가 있는 애너테이션 하에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크가 청정 데이터에 접근할 수 없는 실제 환경의 기계 생성 애너테이션으로까지 일반화될 수 있는가?

주요 결과

• 제안된 방법은 합성 및 기계 생성 노이즈가 높은 수준일 때 PASCAL VOC 및 MS-COCO 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 절단 실험 결과, CA-BBC를 제거할 경우 성능 저하가 심각하게 발생하며, 특히 바운딩 박스 노이즈가 40%일 경우에 그 중요성이 입증된다.
• 노이즈 보정에 단일 검출 헤드를 사용할 경우 확인 편향이 발생하고 성능이 악화되므로, 듀얼 헤드 증류의 이점이 입증된다.
• 지식 증류에서 최적의 소프트 레이블 온도는 약 0.4로 확인되었으며, 0.2에서 0.6 사이의 값은 안정적인 성능을 유지한다.
• 분류기 이견 측도로 측정한 결과, 두 검출 헤드가 훈련 전반에 걸쳐 충분한 분산을 유지함을 확인하였으며, 이는 효과적인 노이즈 필터링에 필수적이다.
• 정성적 결과에서 이 방법이 잘못 국소화된 바운딩 박스를 효과적으로 보정하고, 소프트 레이블에서 올바른 클래스에 대해 더 높은 신뢰도를 할당하는 것으로 나타났다.