[논문 리뷰] Robust Tiny Object Detection in Aerial Images amidst Label Noise

Haoran Zhu, Chang Xu외 4명|arXiv (Cornell University)|2024. 01. 16.

Remote-Sensing Image Classification인용 수 5

한 줄 요약

본 논문은 항공 영상에서의 소형 객체 탐지에서의 레이블 노이즈를 분석하고, 클래스 인식 보정(class-aware label correction)과 트렌드 안내 학습(trend-guided learning)을 통해 클래스 시프트와 바운딩박스 노이즈를 완화하는 강건한 탐지기 DN-TOD를 제시한다.

ABSTRACT

Precise detection of tiny objects in remote sensing imagery remains a significant challenge due to their limited visual information and frequent occurrence within scenes. This challenge is further exacerbated by the practical burden and inherent errors associated with manual annotation: annotating tiny objects is laborious and prone to errors (i.e., label noise). Training detectors for such objects using noisy labels often leads to suboptimal performance, with networks tending to overfit on noisy labels. In this study, we address the intricate issue of tiny object detection under noisy label supervision. We systematically investigate the impact of various types of noise on network training, revealing the vulnerability of object detectors to class shifts and inaccurate bounding boxes for tiny objects. To mitigate these challenges, we propose a DeNoising Tiny Object Detector (DN-TOD), which incorporates a Class-aware Label Correction (CLC) scheme to address class shifts and a Trend-guided Learning Strategy (TLS) to handle bounding box noise. CLC mitigates inaccurate class supervision by identifying and filtering out class-shifted positive samples, while TLS reduces noisy box-induced erroneous supervision through sample reweighting and bounding box regeneration. Additionally, Our method can be seamlessly integrated into both one-stage and two-stage object detection pipelines. Comprehensive experiments conducted on synthetic (i.e., noisy AI-TOD-v2.0 and DOTA-v2.0) and real-world (i.e., AI-TOD) noisy datasets demonstrate the robustness of DN-TOD under various types of label noise. Notably, when applied to the strong baseline RFLA, DN-TOD exhibits a noteworthy performance improvement of 4.9 points under 40% mixed noise. Datasets, codes, and models will be made publicly available.

연구 동기 및 목표

• 다양한 라벨 노이즈 유형이 항공 영상의 소형 물체 탐지기(TOD)에 어떤 영향을 미치는지 조사한다.
• TOD 성능에 가장 해로운 노이즈 유형을 식별한다.
• 클래스 시프트와 바운딩박스 노이즈를 완화하기 위한 강건한 탐지기(DN-TOD)를 개발한다.
• 합성 및 실제 노이즈 데이터 세트에서 DN-TOD의 효과를 입증한다.
• DN-TOD가 원-stage와 2-stage 탐지기 모두와 호환됨을 보여준다.

제안 방법

• DeNoising Tiny Object Detector (DN-TOD)를 소개한다.
• Dynamic Confidence Matrix (DCM)를 통한 클래스 시프트 해결과 샘플 필터링을 위해 Class-aware Label Correction (CLC)을 추가한다.
• 분류를 위한 Trend-guided Learning Strategy (TLS)와 Trend-guided Reweighting (TLR), 회귀를 위한 Recurrent Box Regeneration (RBR)를 추가한다.
• CLC는 클래스 예측을 DCM 및 신뢰도와 대조하여 노이즈가 있는 양성을 필터링한다.
• TLS는 샘플 학습 추세를 사용해 분류 손실의 가중치를 재조정하고 과거 예측과 GT를 융합하여 박스 타깃을 재생성한다(RBR).
• RFLA를 사용하여 FCOS(원-stage) 및 Faster R-CNN(2-stage)에 플러그 앤 플레이로 통합하는 것을 입증한다.

Figure 1: An overview of our method. Observing that the model is quite sensitive to class shifts and inaccurate bounding box noises when training tiny object detectors, we propose to tackle them by Class-aware Label Correction and Trend-guided Learning, respectively. Orange points denote positive sa

실험 결과

연구 질문

• RQ1 레이블 노이즈 하에서 누락된 라벨, 추가 라벨, 클래스 시프트, 그리고 부정확한 바운딩 박스가 TOD에 어떤 영향을 미치는가?
• RQ2 두 가지 노이즈 유형이 TOD 성능을 가장 크게 저하시기는가?
• RQ3 클래스 인식 보정과 트렌드 가이드 학습을 활용한 디노이징 탐지기가 라벨 노이즈 하에서 강인성을 개선할 수 있는가?
• RQ4 DN-TOD가 합성 노이즈 데이터 세트(AI-TOD-v2.0, DOTA-v2.0)와 실제 노이즈 데이터(AI-TOD)에 얼마나 잘 일반화되는가?

주요 결과

• 클래스 시프트와 부정확한 바운딩 박스는 누락된 라벨이나 추가 라벨보다 TOD 성능을 심각하게 저하시키는 것으로 나타났다.
• AI-TOD-v2.0, DOTA-v2.0, 그리고 AI-TOD 데이터세트에서 다양한 노이즈 설정에서 CLC와 TLS를 갖춘 DN-TOD가 강력한 베이스라인을 능가한다.
• 40% 혼합 노이즈에서 DN-TOD는 강력한 베이스라인 RFLA를 약 4.9 포인트 향상시킨다.
• 박스 노이즈 실험에서 TLS는 20% 노이즈에서 원-stage FCOS*를 최대 7.2 AP 향상시키고 두 단계 Faster R-CNN*도 강화한다.
• DN-TOD는 합성 노이즈 데이터 세트와 실제 노이즈 데이터에서 견고한 향상을 보여주며 실용성을 시사한다.

Figure 2: (a) illustrates the noisy box labels vs. predicted boxes. The orange box represents inaccurate bounding box annotations. The blue box represents the prediction boxes of the regression branch. The network can still provide relatively accurate regression predictions even under noisy box supe