[論文レビュー] Robust Tiny Object Detection in Aerial Images amidst Label Noise

Haoran Zhu, Chang Xu+4 more|arXiv (Cornell University)|Jan 16, 2024

Remote-Sensing Image Classification被引用数 5

ひとこと要約

本論文は航空画像における小さな物体検出のラベルノイズを分析し、クラス認識に基づくラベル補正と傾向導入学習を備えた頑健な検出器 DN-TOD を提案し、クラスシフトと境界ボックスノイズを緩和する。

ABSTRACT

Precise detection of tiny objects in remote sensing imagery remains a significant challenge due to their limited visual information and frequent occurrence within scenes. This challenge is further exacerbated by the practical burden and inherent errors associated with manual annotation: annotating tiny objects is laborious and prone to errors (i.e., label noise). Training detectors for such objects using noisy labels often leads to suboptimal performance, with networks tending to overfit on noisy labels. In this study, we address the intricate issue of tiny object detection under noisy label supervision. We systematically investigate the impact of various types of noise on network training, revealing the vulnerability of object detectors to class shifts and inaccurate bounding boxes for tiny objects. To mitigate these challenges, we propose a DeNoising Tiny Object Detector (DN-TOD), which incorporates a Class-aware Label Correction (CLC) scheme to address class shifts and a Trend-guided Learning Strategy (TLS) to handle bounding box noise. CLC mitigates inaccurate class supervision by identifying and filtering out class-shifted positive samples, while TLS reduces noisy box-induced erroneous supervision through sample reweighting and bounding box regeneration. Additionally, Our method can be seamlessly integrated into both one-stage and two-stage object detection pipelines. Comprehensive experiments conducted on synthetic (i.e., noisy AI-TOD-v2.0 and DOTA-v2.0) and real-world (i.e., AI-TOD) noisy datasets demonstrate the robustness of DN-TOD under various types of label noise. Notably, when applied to the strong baseline RFLA, DN-TOD exhibits a noteworthy performance improvement of 4.9 points under 40% mixed noise. Datasets, codes, and models will be made publicly available.

研究の動機と目的

• 航空画像における小さな物体検出器に対するさまざまなラベルノイズのタイプが与える影響を調査する。
• TOD（Tiny Object Detector）の性能に最も影響を与えるノイズタイプを特定する。
• クラスシフトと境界ボックスのノイズを緩和する頑健な検出器（DN-TOD）を開発する。
• 合成ノイズデータセットと実世界ノイズデータセットの両方でDN-TODの有効性を実証する。
• DN-TOD が one-stage および two-stage の検出器の両方と互換性があることを示す。

提案手法

• DeNoising Tiny Object Detector (DN-TOD) を導入する。
• Dynamic Confidence Matrix (DCM) を用いたクラスシフトの対処とサンプルフィルタリングのために Class-aware Label Correction (CLC) を追加する。
• 分類のための Trend-guided Learning Strategy (TLS) と回帰のための Recurrent Box Regeneration (RBR) を追加する。
• CLC はクラス予測を DCM および信頼度と比較してノイズの多いポジティブをフィルタリングする。
• TLS はサンプル学習傾向を用いて分類損失を再重み付けし、過去の予測と GT を融合してボックスターゲットを再生成する（RBR）。
• RFLA と共に FCOS (one-stage) および Faster R-CNN (two-stage) へのプラグアンドプレイ統合を実演。

Figure 1: An overview of our method. Observing that the model is quite sensitive to class shifts and inaccurate bounding box noises when training tiny object detectors, we propose to tackle them by Class-aware Label Correction and Trend-guided Learning, respectively. Orange points denote positive sa

実験結果

リサーチクエスチョン

• RQ1 欠損ラベル、追加ラベル、クラスシフト、そして不正確な境界ボックスがラベルノイズ下の TOD にどのような影響を与えるか？
• RQ2 どの2種類のノイズが最も小さな物体検出の性能を著しく低下させるか？
• RQ3 Class-aware correction と Trend-guided Learning を用いた denoising detector はラベルノイズ下で頑健性を向上させることができるか？
• RQ4 AI-TOD-v2.0、DOTA-v2.0 のような合成ノイズデータセットおよび AI-TOD のような実世界のノイズデータへ、DN-TOD はどの程度一般化できるか？

主な発見

• クラスシフトと不正確な境界ボックスは TOD の性能を著しく低下させ、欠損ラベルや追加ラベルよりも影響が大きい。
• AI-TOD-v2.0、DOTA-v2.0、AI-TOD データセットのさまざまなノイズ設定でCLCとTLSを用いたDN-TODは強力なベースラインを上回る。
• 40% の混合ノイズで、DN-TOD は強力なベースライン RFLA を約 4.9 ポイント向上させる。
• ボックスノイズ実験では、TLS は 20% のノイズ下で one-stage FCOS* を最大で 7.2 AP 改善し、二段階 Faster R-CNN* の性能も向上させる。
• DN-TOD は合成ノイズデータセットと実世界のノイズデータの両方で頑健な改善を示し、実用性を示唆する。

Figure 2: (a) illustrates the noisy box labels vs. predicted boxes. The orange box represents inaccurate bounding box annotations. The blue box represents the prediction boxes of the regression branch. The network can still provide relatively accurate regression predictions even under noisy box supe