[論文レビュー] Hallucination Improves Few-Shot Object Detection

Weilin Zhang, Yu-Xiong Wang|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 11

ひとこと要約

本論文では、少数ショットオブジェクト検出の訓練を補強するため、合成された注目領域（RoI）特徴を生成するハロシネーター・ネットワークを提案する。この手法は、ベースクラスからクラス内変動（例：ポーズ、照明）を転移させることで、分類器の一般化性能を向上させる。特徴空間内で反復的に多様で現実的な例をハロシネートすることで、極めて少数ショットの設定（1–2ショット）においてCOCOおよびPASCAL VOCで最先端の性能を達成し、誤検出を顕著に低減するとともに、検出精度を向上させる。

ABSTRACT

Learning to detect novel objects from few annotated examples is of great practical importance. A particularly challenging yet common regime occurs when there are extremely limited examples (less than three). One critical factor in improving few-shot detection is to address the lack of variation in training data. We propose to build a better model of variation for novel classes by transferring the shared within-class variation from base classes. To this end, we introduce a hallucinator network that learns to generate additional, useful training examples in the region of interest (RoI) feature space, and incorporate it into a modern object detection model. Our approach yields significant performance improvements on two state-of-the-art few-shot detectors with different proposal generation procedures. In particular, we achieve new state of the art in the extremely-few-shot regime on the challenging COCO benchmark.

研究の動機と目的

• 1～2例の画像しか利用できない状況下で顕著に顕在するラベル変動の不足という、少数ショットオブジェクト検出における重要な課題に取り組む。
• 既存手法が領域提案ネットワーク（RPN）やメタラーニングに依存するため、十分な外観変動を捉えることができないという限界を克服する。
• データ豊富なベースクラスから得られる共通のクラス内変動（例：ポーズ、照明）を転移させることで、分類器のロバスト性を向上させる。
• TFA や CoRPN といった現代の2段階検出器と互換性がある、即挿し可能なハロシネーションモジュールを構築する。メタラーニングの複雑な構造を必要としない。

提案手法

• EMに類似した方法でハロシネーター・ネットワークを訓練する：まず現在の分類器を用いて合成されたRoI特徴を生成し、次に実データと合成データの両方を用いて分類器を再訓練する。
• 学習済みのRoI特徴空間内でハロシネーションを実施することで、新しいクラスの特徴の多様で現実的な変種を生成可能にする。
• メタラーニングを必要としない、シンプルでエンドツーエンドの訓練手順を採用。分類器の最適化とハロシネーションを交互に繰り返す。
• 1回の訓練バッチあたり1クラスあたり固定数の合成例を生成（例：20例）、最適な性能を得るために数を調整する。
• 生成された合成例を分類器の訓練損失に組み込み、意思決定境界の推定を改善する。
• 推論時のファインチューニング段階でもハロシネーターを適用することで、実データが極めて少ない状況でもより良い一般化性能を達成可能にする。

実験結果

リサーチクエスチョン

• RQ1 特徴空間におけるデータハロシネーションは、極めて少数ショットのオブジェクト検出における外観変動の不足を効果的に是正できるか？
• RQ2 RPNが生成する提案に依存するのではなく、RoI特徴空間で例をハロシネートすることで、分類器の訓練にどのような差が生じるか？
• RQ3 提案されたEMに類似したハロシネーターの訓練手順は、メタラーニングに基づく代替手法に比べて、より優れた性能を発揮するか？
• RQ4 意思決定境界の推定を改善することで、ハロシネーションが誤検出予測をどの程度低減できるか？
• RQ5 アーキテクチャの大幅な見直しが不要な状態で、ハロシネーターは異なる最先端の少数ショット検出器に効果的に統合可能か？

主な発見

• 提案手法は、PASCAL VOC ノーブルセット1において1ショットAP50をTFAより5.3ポイント向上させ、45.1（TFA：39.8）を達成した。
• ノーブルセット2では、攻撃的（aggressive）なハロシネーターを用いることで29.3のAP50を達成し、TFAの23.5から6.1ポイントの向上を記録した。
• 平均して誤検出ボックス数を25％（3,440.6から3,041.1）低減し、意思決定境界の推定が改善されたことが示された。
• 1バッチあたり20例のハロシネート例で性能が飽和し、それ以上に増やすとわずかに低下するため、最適な容量が存在することが示された。
• 真陽性検出と誤検出抑制の両方の性能が向上し、特に誤検出抑制の向上が顕著で、意思決定境界の一般化が向上したことが示された。
• ハロシネーターは異なる分類器タイプに対しても有効であることが確認された。CoRPNにおけるコサイン類似度分類器および全結合分類器の両方を向上させ、汎用性が裏付けられた。