[論文レビュー] Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection

Hanzhe Hu, Shuai Bai+3 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Neural Network Applications参考文献 33被引用数 14

ひとこと要約

本稿では、密な関係蒸留（DRD）とコンテキストに配慮した特徴抽出（CFA）を用いて特徴学習を向上させる、新しい少サンプル物体検出フレームワークであるDCNetを提案する。DRDは、クエリ特徴とサポート特徴のピクセル単位でのマッチングを可能にし、細粒度の詳細を保持する。一方、CFAはアテンションを用いてマルチスケールRoI特徴を適応的に統合する。本手法はPASCAL VOCおよびMS COCOベンチマークで最先端の性能を達成した。

ABSTRACT

Conventional deep learning based methods for object detection require a large amount of bounding box annotations for training, which is expensive to obtain such high quality annotated data. Few-shot object detection, which learns to adapt to novel classes with only a few annotated examples, is very challenging since the fine-grained feature of novel object can be easily overlooked with only a few data available. In this work, aiming to fully exploit features of annotated novel object and capture fine-grained features of query object, we propose Dense Relation Distillation with Context-aware Aggregation (DCNet) to tackle the few-shot detection problem. Built on the meta-learning based framework, Dense Relation Distillation module targets at fully exploiting support features, where support features and query feature are densely matched, covering all spatial locations in a feed-forward fashion. The abundant usage of the guidance information endows model the capability to handle common challenges such as appearance changes and occlusions. Moreover, to better capture scale-aware features, Context-aware Aggregation module adaptively harnesses features from different scales for a more comprehensive feature representation. Extensive experiments illustrate that our proposed approach achieves state-of-the-art results on PASCAL VOC and MS COCO datasets. Code will be made available at https://github.com/hzhupku/DCNet.

研究の動機と目的

• 少サンプル物体検出における限られたアノテーションデータの課題に対処すること。特に、わずかな例からの一般化が困難な状況を想定する。
• 従来のメタラーニング手法におけるグローバルプーリングに起因する局所的コンテキストおよび特徴の喪失を克服すること。
• 特徴抽出器を変更する際に過学習を引き起こす、少サンプル検出におけるスケール変動の問題を軽減すること。
• サポートセットの情報を十分に活用し、スケールに配慮したコンテキスト的手がかりを捉えることで、特徴表現を向上させること。

提案手法

• 密な関係蒸留（DRD）モジュールは、視覚的意味と詳細な外観情報をエンコードするためのキーマップとバリューマップを用いて、クエリ特徴とサポート特徴のピクセル単位でのマッチングを実行する。
• DRDはグローバルプーリングを置き換え、低ショット状況下での一般化を向上させるために、細粒度の局所的特徴を活用できるようにする。
• コンテキストに配慮した特徴抽出（CFA）モジュールは、マルチスケールのコンテキスト情報を捉えるために、3種類の異なるRoIプーリング解像度を用いる。
• アテンション機構を適用して、異なるスケールからの特徴を適応的に統合し、寄与度をバランスさせるとともに、多様な物体サイズに適した重要なコンテキストを保持する。
• フレームワークはメタラーニングベースの検出バックボーンに基づき、クラス固有の適応を必要とせず、DRDおよびCFAをプラグインモジュールとして統合する。
• モデルは標準の検出損失を用いてエンドツーエンドで訓練され、推論はサポート特徴をコンテキストとして使用する1回のフォワードパスで実行される。

実験結果

リサーチクエスチョン

• RQ1 クエリとサポート特徴の間で密なピクセル単位のマッチングを実施することで、局所的・特徴的特徴を保持することができ、少サンプル物体検出の性能が向上するか？
• RQ2 アテンションを用いたマルチスケール特徴統合は、低ショット状況下での物体サイズの変動に起因する検出のロバストネスをどのように向上させるか？
• RQ3 グローバルプーリングを密な関係蒸留に置き換えることで、特に極めて低ショット設定において顕著な性能向上が得られるか？
• RQ4 コンテキストに配慮した特徴抽出は、ベースクラスおよびネイティブクラスの両方における過学習をどれほど軽減し、一般化性能を向上させるか？

主な発見

• 密な関係蒸留（DRD）モジュールは、PASCAL VOCにおけるすべてのショット設定で一貫した性能向上を達成し、特に低ショット環境で最大の向上が観察された。
• コンテキストに配慮した特徴抽出（CFA）モジュールは、スケールに配慮したコンテキスト情報を保持することで、顕著な性能向上をもたらし、誤検出と検出漏れを低減した。
• 3種類の異なるRoIプーリング解像度とアテンションベースの統合機構を組み合わせたアプローチが最良の性能を達成し、単一解像度のベースラインを上回った。
• アブレーションスタディにより、DRDおよびCFAモジュールの両方が不可欠であることが確認され、併用することでPASCAL VOCおよびMS COCOで最先端の結果が得られた。
• MS COCOでは、10/30ショット設定の大多数の指標でDCNetが最先端の性能を達成し、大規模かつ複雑なデータセットにおける強力な一般化能力を示した。
• 可視化結果から、DRDはクエリ特徴の活性化を強化し、すべてのクラスに対して同時にクラスに依存しない関係モデリングを可能にすることがわかった。