[論文レビュー] Dynamic Relevance Learning for Few-Shot Object Detection

Weijie Liu, Chong Wang+3 more|arXiv (Cornell University)|Aug 4, 2021

Advanced Neural Network Applications参考文献 50被引用数 14

ひとこと要約

本稿では、メタ学習ベースの検出器の性能を向上させるために、サポート画像とクエリ画像の領域提案（RoIs）の間の関係を動的グラフ畳み込みネットワーク（GCN）を用いてモデリングする、動的関連性学習フレームワークを提案する。相互支援およびサポート-RoI間の相互作用を活用することで、ハードな補助分類タスクを通じて特徴表現を強化し、Pascal VOCおよびMS-COCOで最先端の性能を達成した。前例のメタ学習ベース検出器よりも顕著なmAP向上を実現した。

ABSTRACT

Expensive bounding-box annotations have limited the development of object detection task. Thus, it is necessary to focus on more challenging task of few-shot object detection. It requires the detector to recognize objects of novel classes with only a few training samples. Nowadays, many existing popular methods adopting training way similar to meta-learning have achieved promising performance, such as Meta R-CNN series. However, support data is only used as the class attention to guide the detecting of query images each time. Their relevance to each other remains unexploited. Moreover, a lot of recent works treat the support data and query images as independent branch without considering the relationship between them. To address this issue, we propose a dynamic relevance learning model, which utilizes the relationship between all support images and Region of Interest (RoI) on the query images to construct a dynamic graph convolutional network (GCN). By adjusting the prediction distribution of the base detector using the output of this GCN, the proposed model serves as a hard auxiliary classification task, which guides the detector to improve the class representation implicitly. Comprehensive experiments have been conducted on Pascal VOC and MS-COCO dataset. The proposed model achieves the best overall performance, which shows its effectiveness of learning more generalized features. Our code is available at https://github.com/liuweijie19980216/DRL-for-FSOD.

研究の動機と目的

• 既存の少サンプル物体検出手法が、サポート画像とクエリのRoIsを独立して扱い、それらの相関関係を無視しているという限界を是正すること。
• サポート画像同士の関係およびサポート画像とクエリの領域提案（RoIs）の関係を明示的にモデリングすることで、少サンプル検出における一般化性能を向上させること。
• 動的グラフ相互作用から導出されるハードな補助分類タスクを通じて特徴学習を強化し、ベース検出器がより判別力のある表現を学習できるようにすること。
• 特に限られたアノテーション例しか利用できない低ショット設定下でも、標準的な少サンプル検出ベンチマークで最先端の性能を達成すること。

提案手法

• ノードをサポート画像およびクエリ画像のRoIsとして定義する動的グラフを構築し、特徴類似度に基づいてエッジの重みを動的に決定する。
• グラフ畳み込みネットワーク（GCNs）を適用して、動的グラフ上で特徴を集約・精錬し、イントラサポートおよびクロスサポートの関係を捉える。
• GCNの出力を用いてベース検出器の予測分布に注目し、再重み付けを行う。これはハードな補助分類ヘッドとして機能する。
• 既存のメタ学習ベースの検出器（例：Meta R-CNN）に、アーキテクチャの大幅な見直しを加えずに、プラグイン形式で動的関連性モジュールを統合する。
• 最終的な検出ヘッドと補助GCNベース分類ヘッドの両方のクロスエントロピー損失を用いて、エンドツーエンドでモデルを学習する。
• バックボーンネットワークの特徴マップを、ベース検出器および動的関連性モジュールの両方の入力として使用することで、特徴レベルの整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 少サンプルのサポート画像同士の相互関係をモデリングすることで、物体検出性能が向上するか？
• RQ2 サポート画像とクエリの領域提案（RoIs）の間のクロス関係を捉えることで、少サンプル検出における特徴一般化が向上するか？
• RQ3 動的グラフベースのメカニズムが、ベース検出器の表現学習を向上させる有効な補助タスクとして機能するか？
• RQ4 本手法は、ゼロショットおよび少サンプル一般化の観点から、既存のメタ学習ベース検出器と比較してどのように差をつけるか？

主な発見

• 提案手法は、Pascal VOCの少サンプル物体検出ベンチマークで、既存のメタ学習手法を上回る最先端の性能を達成した。
• MS-COCOでは、5ショット検出で平均平均精度（mAP）が26.8%を達成し、限られたデータ下でも強い一般化性能を示した。
• アブレーションスタディの結果、イントラサポートおよびサポート-RoI間の関係モデリングが、性能向上に顕著に寄与することが確認された。
• 動的グラフ構築メカニズムにより特徴の判別能が向上し、t-SNE可視化では明確なクラス分離が観察された。
• 補助GCNヘッドは強力な正則化器として機能し、限られたサポートデータにおける過学習を低減した。
• 本手法は異なるバックボーンアーキテクチャにおいても有効であり、既存の検出パイプラインにスムーズに統合可能であった。