[論文レビュー] Solving Missing-Annotation Object Detection with Background Recalibration Loss

Han Zhang, Fangyi Chen+4 more|arXiv (Cornell University)|Feb 12, 2020

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、アノテーション欠落の状況下で、IoUしきい値と画像コンテンツに基づいてトレーニング信号を自動的に再重み付けすることで、欠落アノテーションに起因する誤差を軽減する、ワンステージオブジェクト検出器向けの新規損失関数であるBackground Recalibration Loss (BRL)を提案する。Focal Lossを背景領域の動的再キャリブレーションで拡張することで、PASCAL VOCの極端なアノテーション欠落設定においてmAPを最大6.4%向上させ、VOCおよびCOCOベンチマークで最先端の性能を達成した。

ABSTRACT

This paper focuses on a novel and challenging detection scenario: A majority of true objects/instances is unlabeled in the datasets, so these missing-labeled areas will be regarded as the background during training. Previous art on this problem has proposed to use soft sampling to re-weight the gradients of RoIs based on the overlaps with positive instances, while their method is mainly based on the two-stage detector (i.e. Faster RCNN) which is more robust and friendly for the missing label scenario. In this paper, we introduce a superior solution called Background Recalibration Loss (BRL) that can automatically re-calibrate the loss signals according to the pre-defined IoU threshold and input image. Our design is built on the one-stage detector which is faster and lighter. Inspired by the Focal Loss formulation, we make several significant modifications to fit on the missing-annotation circumstance. We conduct extensive experiments on the curated PASCAL VOC and MS COCO datasets. The results demonstrate that our proposed method outperforms the baseline and other state-of-the-arts by a large margin. Code available: https://github.com/Dwrety/mmdetection-selective-iou.

研究の動機と目的

• ラベルのないオブジェクトが誤ってバックグラウンドとして扱われる、インスタンスアノテーションが欠落しているデータセットにおけるオブジェクト検出の課題に対処すること。
• 通常、欠落ラベルに対して脆弱であるワンステージ検出器の検出性能を向上させるために、不完全な監視を処理できるように損失関数を再設計すること。
• IoUしきい値と入力画像のコンテンツに基づいて損失信号を動的に再キャリブレーションする手法を開発し、外部検出器や複雑なサンプリングに依存しないこと。
• 特にアノテーションが極めてスパarsityな状況下で、ソフトサンプリングやOHEMといった既存手法よりも優れた性能を発揮すること。
• 完全にアノテートされたデータセットでトレーニングした場合の性能低下を最小限に抑え、広範な適用性を確保すること。

提案手法

• 正例インスタンスとのIoUに基づいて背景領域の交差エントロピー損失を再重み付けする、Focal Lossの変種であるBackground Recalibration Loss (BRL)を提案する。
• しきい値に基づく再キャリブレーション機構を導入：アノテーションのIoUが事前に定義されたしきい値 $ t $ を超える場合、そのアノテーションの損失は因子 $ \alpha_t $ で縮小され、バックプロパゲーションにおける寄与度が低減される。
• 再キャリブレーションの度合いを制御する学習可能なスケーリング因子 $ \alpha_t \in (0,1) $ を使用し、$ \alpha_t = 0.1 $ が最適な性能を示した。
• アーキテクチャの変更を最小限に抑えて効率的なトレーニングが可能な、RetinaNet（ワンステージ検出器）内にBRL損失を適用する。
• 微分可能でエンドツーエンドトレーニング可能な損失関数として設計し、勾配の流れを維持するとともに、混乱をきたす背景領域からの勾配を抑制する。
• MMDetectionなどの既存の検出フレームワークと互換性があるプラグイン方式で実装し、コードを公開した。

実験結果

リサーチクエスチョン

• RQ1 外部モデルに依存せずに、欠落アノテーション状況下でオブジェクト検出器のトレーニング信号を動的に再キャリブレーションできる損失関数を設計できるか？
• RQ2 ラベルのないオブジェクトがバックグラウンドとして扱われる状況下で、IoUしきい値 $ t $ の選択が検出性能に与える影響は何か？
• RQ3 スパースアノテーション設定下で、Focal Loss や GHMC、OHEM といった既存の再重み付け戦略に比べ、BRLはワンステージ検出器で優れた性能を発揮するか？
• RQ4 BRLは完全にアノテートされたデータセットに与える影響は何か？性能の低下を引き起こすか？
• RQ5 PASCAL VOC や MS COCO といった多様なデータセットにおいて、アノテーションの完全性が異なる状況下でも、BRLは汎用性を示せるか？

主な発見

• PASCAL VOC 2007 の極端な設定（50%のアノテーションが消去された状態）において、$ t = 0.5 $ かつ $ \alpha_t = 0.1 $ のBRLは、ベースラインのRetinaNetに比べてmAP 50が0.662に達し、6.4%の向上を達成した。
• 同じ極端な設定下で、mAP 75は4.8%向上し、さまざまなIoUしきい値において一貫した向上を示した。
• COCO 2017 minivalで50%のアノテーションが消去された状況下、BRLはベースラインに対してmAP 0.5:0.95を9.0%向上させ、OHEMを用いたFaster R-CNNでさえも上回った。
• アブレーションスタディにより、$ t = 0.5 $ が最良の性能を示し、それ以上のしきい値ではトレーニングが不安定になり、収束が悪化することが確認された。
• 図3に示すように、BRLはすべてのIoUレベルで強力な性能を維持しており、検出の難易度の変動に対してもロバストであることが示された。
• 完全にアノテートされたCOCOでトレーニングした場合、BRLはmAPでわずか0.7%の低下にとどまり、標準的なトレーニング環境に与える悪影響が最小限であることがわかった。