[論文レビュー] Query Adaptive Few-Shot Object Detection with Heterogeneous Graph Convolutional Networks

Guangxing Han, Yicheng He+3 more|arXiv (Cornell University)|Dec 17, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、提案領域とクラスプロトタイプ間の多関係的相互作用をモデル化するための異種グラフ畳み込みネットワークを用いた、クエリ適応型少数ショット物体検出モデルQA-FewDetを提案する。2段階のグラフ構造を通じて、クラス同士、クラスと提案、提案同士のメッセージパッシングを統合することで、PASCAL VOCおよびMSCOCOベンチマークで最先端の性能を達成し、少数ショット設定下でAP50で前人を4%以上上回った。

ABSTRACT

Few-shot object detection (FSOD) aims to detect never-seen objects using few examples. This field sees recent improvement owing to the meta-learning techniques by learning how to match between the query image and few-shot class examples, such that the learned model can generalize to few-shot novel classes. However, currently, most of the meta-learning-based methods perform pairwise matching between query image regions (usually proposals) and novel classes separately, therefore failing to take into account multiple relationships among them. In this paper, we propose a novel FSOD model using heterogeneous graph convolutional networks. Through efficient message passing among all the proposal and class nodes with three different types of edges, we could obtain context-aware proposal features and query-adaptive, multiclass-enhanced prototype representations for each class, which could help promote the pairwise matching and improve final FSOD accuracy. Extensive experimental results show that our proposed model, denoted as QA-FewDet, outperforms the current state-of-the-art approaches on the PASCAL VOC and MSCOCO FSOD benchmarks under different shots and evaluation metrics.

研究の動機と目的

• 既存のメタラーニングベースの少数ショット物体検出手法が、相互関係や文脈的関係を考慮しない孤立したペairワイズなマッチング処理に依存するという限界を解消すること。
• グラフベースのメッセージパッシングを通じて、文脈に適応した提案特徴とクエリ適応型、マルチクラス強化型プロトタイプを学習することで、特徴表現を向上させること。
• クラスと提案のエッジを介した相互適応により、提案特徴とクラスプロトタイプ間の分布差を低減すること。
• 異種グラフ構造から得られる文脈的および関係的インダクティブバイアスを活用することで、極端な少数ショット状況（例：1ショット）における検出精度を向上させること。
• さまざまなショット設定およびベンチマークでスケーラブルな、エンド・ツー・エンドでトレーニング可能な効率的なグラフベースアーキテクチャを開発すること。

提案手法

• クラス同士（マルチクラス関係モデリング用）、クラスと提案（相互適応用）、提案同士（局所的およびグローバルな文脈用）の3種類のエッジを持つ異種グラフを構築する。
• グラフを2つの部分グラフに分割する：クエリに依存しないクラス間関係を扱う「クラス間サブグラフ」と、クエリに特化したクラス内メッセージパッシングを処理する「クラス内サブグラフ」。
• グラフ畳み込みネットワークを用いて、関係的文脈に基づいてノード間で効率的なメッセージパッシングを実行し、提案特徴とクラスプロトタイプを更新する。
• ベースクラスデータ上でエピソードベースのトレーニングを実施し、新規クラスでのファインチューニングを必要とせずに汎用的な少数ショット検出ポリシーを学習する。
• プロトタイプ学習とグラフ伝搬を統合することで、クエリに適応し、マルチクラス強化型のクラス表現を生成し、少数ショットの変動に強いものとする。
• エンド・ツー・エンドのトレーニングにより、特徴抽出、グラフメッセージパッシング、マッチングヘッド予測の共同最適化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 類似したベースクラスからの知識伝達によって、マルチクラス関係のモデリングが少数ショット物体検出性能を向上させることができるか？
• RQ2 提案同士およびクラスと提案間のメッセージパッシングを組み込むことで、特徴品質が向上し、提案とプロトタイプ間の分布シフトが低減するか？
• RQ3 複数のエッジタイプを持つ異種グラフ構造は、極端な少数ショット状況下でペアワイズマッチングを上回る性能を発揮できるか？
• RQ4 標準的なメタラーニングベースラインと比較して、提案されたグラフベースのメッセージパッシングは、さまざまなショット設定において一般化性能およびロバストネスに優れているか？
• RQ5 グラフベースのモデルは、ファインチューニングベースのアプローチと比較して、1ショットおよび2ショット検出における過学習をどの程度低減できるか？

主な発見

• QA-FewDetは、PASCAL VOC 1ショットで42.4%のAP、10ショットで63.4%のAPを達成し、ほとんどのショット設定でAP50で前人を4.0%以上上回った。
• MSCOCOでは、10ショット検出で35.2%のAP、42.9%のAP50、47.8%のAP75を達成し、ファインチューニングを用いた手法を含め、すべての先行手法を上回った。
• PASCAL VOCの1ショット検出では、QA-FewDetは5.1%のAPおよび10.5%のAP50を達成し、前人SOTAの4.9%のAPおよび10.3%のAP50を顕著に上回った。
• ファインチューニングが過学習のため失敗しやすい極端な少数ショット環境（1/2/3ショット）でも、モデルは強力な性能を維持しており、優れた一般化能力を示した。
• アブレーションスタディの結果、クラス同士、クラスと提案、提案同士の3種類のエッジが性能向上に顕著に寄与しており、特にクラス同士のエッジが最大の向上をもたらした。
• 提案された異種グラフ構造は、効率的なメッセージパッシングとエンド・ツー・エンドのトレーニングを可能にし、新規クラスでのファインチューニングを必要とせずに最先端の結果を達成した。