[論文レビュー] Few-shot Object Detection via Feature Reweighting

Bingyi Kang, Zhuang Liu+4 more|arXiv (Cornell University)|Dec 5, 2018

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 17

ひとこと要約

本論文は、メタ特徴と軽量な再重み付けモジュールを活用し、わずかなアノテーション例のみで未知のクラスに適応する few-shot object detection フレームワークを提案する。ベースクラスから汎用的な特徴を学習し、サポート画像に基づいてそれらを動的に再重み付けすることで、特に低ショット設定において最先端の性能を達成し、複数のデータセットで強力なベースラインを大きく上回る。

ABSTRACT

Conventional training of a deep CNN based object detector demands a large number of bounding box annotations, which may be unavailable for rare categories. In this work we develop a few-shot object detector that can learn to detect novel objects from only a few annotated examples. Our proposed model leverages fully labeled base classes and quickly adapts to novel classes, using a meta feature learner and a reweighting module within a one-stage detection architecture. The feature learner extracts meta features that are generalizable to detect novel object classes, using training data from base classes with sufficient samples. The reweighting module transforms a few support examples from the novel classes to a global vector that indicates the importance or relevance of meta features for detecting the corresponding objects. These two modules, together with a detection prediction module, are trained end-to-end based on an episodic few-shot learning scheme and a carefully designed loss function. Through extensive experiments we demonstrate that our model outperforms well-established baselines by a large margin for few-shot object detection, on multiple datasets and settings. We also present analysis on various aspects of our proposed model, aiming to provide some inspiration for future few-shot detection works.

研究の動機と目的

• レアまたは未知のカテゴリに十分なアノテーション付きバウンディングボックスが存在しない低データ環境におけるオブジェクト検出の課題に対処すること。
• 人間の few-shot 学習能力を模倣し、わずかなアノテーション例のみで検出モデルを未知のクラスに迅速に適応させること。
• ベースクラスから未知クラスへ知識を効果的に転移するための、特徴の再重み付けを用いた検出フレームワークの設計。
• 従来の CNN がデータ不足のため過学習を起こすような few-shot 環境における一般化性能と検出精度の向上。

提案手法

• モデルは、豊富な訓練データを有するベースクラスから汎用的な特徴を抽出するメタ特徴学習モジュールを用いる。
• 軽量な再重み付けモジュールは、サポート画像（オブジェクトマスク付き）を入力とし、クエリ画像特徴を調整するクラス固有の再重み付けベクトルを生成する。
• 再重み付けベクトルは、各未知クラスに関連する判別性の高いメタ特徴を動的に強調することで、検出性能を向上させる。
• エピソードベースの few-shot 学習スキームを用い、注意深く設計された損失関数でエンドツーエンドに訓練される。
• フレームワークはワンステージ検出器アーキテクチャに基づき、最適なパフォーマンスを得るために再重み付けを深い特徴層（例：層21）で実行する。
• マルチクラス分類にはソフトマックス損失を用い、冗長な検出を抑制することで、バイナリ損失を上回る性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 わずかなアノテーション例のみで、未知のオブジェクトクラスに一般化できる検出モデルを訓練可能か？
• RQ2 ベースクラスからのメタ特徴を、未知オブジェクトを検出するために効果的に再重み付けできるか？
• RQ3 効果的な再重み付けのための最適なサポート入力の位置と形式（画像、マスク、クロップされたオブジェクト）は何か？
• RQ4 損失関数の選択（例：ソフトマックス vs. バイナリ）が few-shot 検出性能に与える影響は何か？
• RQ5 標準的な微調整と比較して、再重み付け機構は検出速度と精度を向上させるか？

主な発見

• 提案モデルは、PASCAL VOC における 10-shot 設定で未知クラスで 47.2% の mAP を達成し、次に優れたベースラインを 5 パcentage point 以上上回った。
• 分類にソフトマックス損失を用いることで、単一バイナリ損失（14.8% から 47.2% に）と比較して、未知クラスの mAP が 32.4% 向上した。
• 深い層（例：層21）で再重み付けを適用すると、層13 よりも高いパフォーマンスを示し、mAP は 47.2% 対 40.7% であった。
• サポート入力にバイナリマスクを含めることで、画像のみを使用した場合と比較して、未知クラスの性能が 3.9% 向上し、正確な局所化の重要性が示された。
• ベースクラスでも高いパフォーマンス（69.7% mAP）を維持しながら、未知クラスでも高い精度を達成しており、効果的な知識転移が実現している。
• アブレーションスタディにより、層21 の特徴の半分のみを再重み付けしても、性能低下が最小限（46.9% 対 47.2%）に抑えられ、クラス間での特徴共有が有効であることが確認された。