[論文レビュー] NOTE-RCNN: NOise Tolerant Ensemble RCNN for Semi-Supervised Object Detection

Jiyang Gao, Jiang Wang+3 more|arXiv (Cornell University)|Dec 1, 2018

Advanced Neural Network Applications参考文献 21被引用数 7

ひとこと要約

本論文では、少数のシードボクシングボックスと大規模な画像レベルラベルを活用する、ノイズに強いアンサンブルRCNNであるNOTE-RCNNを提案する。分類ヘッドのアンサンブル、事前学習済み教師からの知識蒸留、誤検出の影響を軽減するためのネガティブ損失のマスク、および高品質なシードアノテーションに限定してボックス回帰を訓練することで、MSCOCO 2017で43.7%のSOTA mAPを達成した。

ABSTRACT

The labeling cost of large number of bounding boxes is one of the main challenges for training modern object detectors. To reduce the dependence on expensive bounding box annotations, we propose a new semi-supervised object detection formulation, in which a few seed box level annotations and a large scale of image level annotations are used to train the detector. We adopt a training-mining framework, which is widely used in weakly supervised object detection tasks. However, the mining process inherently introduces various kinds of labelling noises: false negatives, false positives and inaccurate boundaries, which can be harmful for training the standard object detectors (e.g. Faster RCNN). We propose a novel NOise Tolerant Ensemble RCNN (NOTE-RCNN) object detector to handle such noisy labels. Comparing to standard Faster RCNN, it contains three highlights: an ensemble of two classification heads and a distillation head to avoid overfitting on noisy labels and improve the mining precision, masking the negative sample loss in box predictor to avoid the harm of false negative labels, and training box regression head only on seed annotations to eliminate the harm from inaccurate boundaries of mined bounding boxes. We evaluate the methods on ILSVRC 2013 and MSCOCO 2017 dataset; we observe that the detection accuracy consistently improves as we iterate between mining and training steps, and state-of-the-art performance is achieved.

研究の動機と目的

• オブジェクト検出におけるボクシングボックスアノテーションの高コストを低減するため、限定的なシードボックスアノテーションと豊富な画像レベルラベルを用いた半教師あり学習の定式化を提案する。
• 弱教師ありオブジェクト検出における反復的トレーニング・マイニングで生じるラベルノイズ（誤検出、誤検出欠落、不正確な境界）の課題を克服する。
• わずかなアノテート済みボクシングボックスしか利用できない低リソース環境における検出性能と耐障害性を向上させる。
• ノイズのあるアノテーションに強く、同時に高い局所化精度と分類精度を維持できる、新しい検出器アーキテクチャの開発。
• 大規模な画像レベルの監視情報を用いても、反復的なトレーニングとマイニングの繰り返しにおいて一貫した性能向上を示す。

提案手法

• トレーニングとマイニングを交互に繰り返すパイプラインを提案：シードアノテーションと画像レベルラベルを用いて、検出器をトレーニングし、提案を改善する。
• ボックスプロデューサーに2つの分類ヘッドのアンサンブルを導入：1つはシードボックスでのみ学習され、もう1つはシードボックスとマイニングされたボックスの両方で学習される。最終的な信頼度予測にはコンSENSUSを用い、誤検出の影響を低減する。
• 事前学習済みの検出器からソースカテゴリに特化した知識を蒸留するための蒸留ヘッドを追加。トレーニングの正則化とノイズラベルへの過学習の防止に寄与する。
• ボックスプロデューサーにおけるネガティブ（バックグラウンド）サンプルのクロスエントロピー損失をマスクすることで、トレーニング中の誤検出ラベルの影響を軽減する。
• ボックス回帰ヘッドのトレーニングを、シードアノテーションに限定することで、マイニングされたボックスの不正確な境界から学習するのを防ぐ。
• ハイブリッド戦略「ハーフディスティル」を採用：初期段階では蒸留を適用してアノテーション品質を向上させ、その後では蒸留を無効化して後続のイテレーションでマイニングボックスの数を増やす。

実験結果

リサーチクエスチョン

• RQ1 少数のシードボクシングボックスと大規模な画像レベルラベルを組み合わせた半教師ありオブジェクト検出フレームワークは、完全に弱教師ありの手法を上回る性能を達成できるか？
• RQ2 反復的マイニングで生じる3つの主なノイズ（誤検出、誤検出欠落、不正確な境界）に対して、オブジェクト検出器をどのようにして耐性を持たせられるか？
• RQ3 ソースカテゴリに特化した事前学習済み検出器からの知識蒸留は、ノイズラベルに対する一般化性能の向上と過学習の低減にどの程度寄与するか？
• RQ4 マイニングされたボックスに対してエンドツーエンドでトレーニングするのではなく、シードアノテーションに限定してボックス回帰のトレーニングを実施することで、局所化精度が著しく向上するか？
• RQ5 マイニングと再トレーニングによる提案の反復的改善は、わずかな数のシードアノテーションから出発しても、一貫して検出mAPを向上させることができるか？

主な発見

• 提案されたNOTE-RCNNは、MSCOCO 2017データセットで43.7%のSOTA mAPを達成し、すべての先行手法を上回った。
• ILSVRC 2013では、蒸留なしで42.6%、蒸留ありで43.7%のmAPを達成し、以前のSOTA（39.9%）を上回った。
• 「ハーフディスティル」戦略（初期段階での蒸留適用、その後の無効化）により、後続段階で性能向上が見られ、高品質な初期アノテーションが極めて重要であることが示された。
• トレーニング・マイニングループの各イテレーションにおいて、性能が一貫して向上しており、提案されたノイズ耐性設計の安定性と有効性が裏付けられた。
• 大規模なシードアノテーション（例：完全なMSCOCO）を用いても、3イテレーションでmAPが32.2%から34.0%に向上した。これは、大規模な画像レベルデータがスケールにかかわらず依然として有益であることを示している。
• アブレーションスタディにより、アンサンブルヘッド、損失マスク、蒸留、シード専用回帰といった各コンponentが、特にノイズの多い環境下で性能向上に顕著な寄与をしていることが確認された。