[論文レビュー] Towards Noise-resistant Object Detection with Noisy Annotations

Junnan Li, Caiming Xiong+2 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Neural Network Applications参考文献 47被引用数 15

ひとこと要約

この論文は、学習データにおけるラベルとバウンディングボックスのノイズが混在する状況に対処するために、モデルパラメータ、オブジェクトラベル、バウンディングボックス座標を同時に最適化するノイズ耐性のあるオブジェクト検出フレームワークを提案する。2段階の手法を導入する：まず、分類器の合意度とオブジェクトネスを用いて、ラベル誤りと局所化誤りを分離するクラスに依存しないバウンディングボックス補正（CA-BBC）を実行し、次にソフトラベル補正とクラス固有の最適化を実現する二重ヘッド知識蒸留を適用する。このアプローチにより、PASCAL VOCおよびMS-COCOで高いノイズレベル下でも最先端の性能を達成した。

ABSTRACT

Training deep object detectors requires significant amount of human-annotated images with accurate object labels and bounding box coordinates, which are extremely expensive to acquire. Noisy annotations are much more easily accessible, but they could be detrimental for learning. We address the challenging problem of training object detectors with noisy annotations, where the noise contains a mixture of label noise and bounding box noise. We propose a learning framework which jointly optimizes object labels, bounding box coordinates, and model parameters by performing alternating noise correction and model training. To disentangle label noise and bounding box noise, we propose a two-step noise correction method. The first step performs class-agnostic bounding box correction by minimizing classifier discrepancy and maximizing region objectness. The second step distils knowledge from dual detection heads for soft label correction and class-specific bounding box refinement. We conduct experiments on PASCAL VOC and MS-COCO dataset with both synthetic noise and machine-generated noise. Our method achieves state-of-the-art performance by effectively cleaning both label noise and bounding box noise. Code to reproduce all results will be released.

研究の動機と目的

• 学習データにラベルノイズとバウンディングボックスノイズが混在する状況下で、正確なオブジェクト検出器を訓練する課題に対処すること。
• 清澄なアノテーションに依存しない自己修正型学習フレームワークを構築することで、清澄なデータにアクセスできない状況でも運用可能であることを目指すこと。
• ラベルノイズとバウンディングボックスノイズの影響を、共通の損失信号によって混同されがちな状況から分離すること。
• 高品質なアノテーションが高コストまたは入手困難な現実世界のシナリオにおいて、一般化性能と耐性を向上させること。

提案手法

• 分類器の不一致とオブジェクトネススコアの最大化を最小化することで、クラスラベルに依存せずにノイズの多いバウンディングボックスを最適化するクラスに依存しないバウンディングボックス補正（CA-BBC）を導入する。
• 同じ画像領域を予測する2つの分岐した検出ヘッドを用い、真のクラスラベルに依存せずに、合意度に基づくバウンディングボックス補正を可能にする。
• 二重ヘッドからの知識蒸留を用いてソフトラベルを生成し、クラス固有のバウンディングボックスオフセットを精緻化する。温度制御されたラベル鋭化により、信頼度のキャリブレーションを向上させる。
• ノイズ補正フェーズとモデル学習フェーズを交互に実行し、自己改善のループ内でアノテーションとモデルパラメータを同時に最適化する。
• 訓練中に2つのヘッドが十分に異なるように保つために、分岐度（classifier discrepancy）という指標を用い、ノイズフィルタリング能力を強化する。
• CA-BBC段階で、オブジェクトネススコアを用いて信頼度が低いボックス（誤検出）を除外する。

実験結果

リサーチクエスチョン

• RQ1 2段階のノイズ補正フレームワークは、オブジェクト検出におけるラベルノイズとバウンディングボックスノイズを効果的に分離できるか？
• RQ2 ラベルと局所化の両方の誤りが存在する状況で、クラスに依存しないバウンディングボックス補正は耐性を向上させるか？
• RQ3 ソフトラベルと精緻化されたバウンディングボックスを用いた二重ヘッド知識蒸留は、単一ヘッドまたはベースラインのノイズ補正手法を上回る性能を発揮するか？
• RQ4 ソフトラベル生成における温度ハイパーパrameterの影響は、ノイズのあるアノテーション下でのモデル性能にどのように現れるか？
• RQ5 本手法は、清澄なデータにアクセスできない現実世界の機械生成アノテーションにも、どの程度一般化可能か？

主な発見

• 提案手法は、合成的および機械生成アノテーションの両方で、PASCAL VOCおよびMS-COCOベンチマークにおいて、高レベルのノイズ下でも最先端の性能を達成した。
• アブレーションスタディの結果、CA-BBCを除去すると、特にバウンディングボックスノイズが40%に達する状況で顕著な性能低下が生じ、これがノイズタイプの分離に果たす重要な役割を裏付けた。
• ノイズ補正に単一の検出ヘッドを用いることは確認バイアスを引き起こし、性能が低下することを示しており、二重ヘッド蒸留の利点を実証した。
• 知識蒸留における最適なソフトラベル温度は約0.4であり、0.2から0.6の範囲では安定した性能が得られた。
• 分類器不一致の指標を用いた測定により、2つの検出ヘッドが訓練全体を通して十分な分岐を維持しており、これが効果的なノイズフィルタリングに不可欠であることが確認された。
• 定性的な結果から、本手法は誤って局所化されたボックスを効果的に補正し、ソフトラベルにおいて正しいクラスに高い信頼度を割り当てる能力を有していることが示された。