[論文レビュー] Meta-DETR: Image-Level Few-Shot Object Detection with Inter-Class Correlation Exploitation

Gongjie Zhang, Zhipeng Luo+2 more|arXiv (Cornell University)|Mar 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 67被引用数 24

ひとこと要約

Meta-DETRは、DETRアーキテクチャ内でのメタラーニングを活用することで、領域提案の制限を回避し、サポートクラス間のクラス間相関を明示的に活用する画素レベル少数ショット物体検出フレームワークを提案する。相関集約モジュール（CAM）を介して複数のサポートクラスを同時に注目することで、一般化性能を向上させ、類似クラスの誤分類を低減し、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Few-shot object detection has been extensively investigated by incorporating meta-learning into region-based detection frameworks. Despite its success, the said paradigm is constrained by several factors, such as (i) low-quality region proposals for novel classes and (ii) negligence of the inter-class correlation among different classes. Such limitations hinder the generalization of base-class knowledge for the detection of novel-class objects. In this work, we design Meta-DETR, a novel few-shot detection framework that incorporates correlational aggregation for meta-learning into DETR detection frameworks. Meta-DETR works entirely at image level without any region proposals, which circumvents the constraint of inaccurate proposals in prevalent few-shot detection frameworks. Besides, Meta-DETR can simultaneously attend to multiple support classes within a single feed-forward. This unique design allows capturing the inter-class correlation among different classes, which significantly reduces the misclassification of similar classes and enhances knowledge generalization to novel classes. Experiments over multiple few-shot object detection benchmarks show that the proposed Meta-DETR outperforms state-of-the-art methods by large margins. The implementation codes will be released at https://github.com/ZhangGongjie/Meta-DETR.

研究の動機と目的

• 領域ベースの少数ショット検出の限界、特に新規クラスに対する低品質な領域提案の問題に対処すること。
• 従来のメタラーニングベースの検出器が1つのサポートクラスずつ処理するため、クラス間相関が無視されがちな問題を克服すること。
• 類似または関連する物体クラス間の関係をモデル化することで、ベースクラスから新規クラスへの知識一般化を効果的に行うこと。
• 領域提案生成を回避する純粋な画素レベルメタ検出フレームワークを設計し、低ショット設定でのロバストネスを向上させること。
• 新しい相関集約モジュール（CAM）の有効性を検証することにより、特徴の整合性を向上させ、類似クラス間の誤分類を低減すること。

提案手法

• 領域提案を一切行わない画素レベルで動作するメタラーニングベースの少数ショット物体検出器「Meta-DETR」を、DETRフレームワーク上に構築する。
• 相関集約モジュール（CAM）を採用し、特徴集約時に複数のサポートクラスを同時に注目することで、クラス間の共通性と相違点を捉える。
• 背景のためのプロトタイプとタスクエンコーディングを用いることで、「一致なし」の状況（クエリ特徴がどのサポートクラスとも一致しない場合）をより効果的に処理する。
• 画像レベルでのメタラーニングを適用することで、領域レベルの監視に依存せずに、ベースクラスの知識を新規クラスに一般化できる。
• DETRにおける学習可能なクエリ埋め込みとオブジェクトクエリを活用し、クエリと画像特徴の間でクロスアテンションを実行することで、エンドツーエンド検出を実現する。
• 複数ヘッドアテンション機構を用い、サポート特徴とクエリ特徴を統合的に注目することで、クラス間関係の共同モデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 低品質な領域提案に依存しない純粋な画素レベルメタ検出フレームワークは、領域ベースの手法を上回る性能を発揮できるか？
• RQ2 複数のサポートクラスを同時に集約することで、検出性能が向上し、類似クラス間の誤分類が低減するか？
• RQ3 クラス間相関を明示的にモデル化することで、低ショット設定における新規クラスへの一般化性能はどの程度向上するか？
• RQ4 同時に集約するサポートクラス数が、検出性能とモデル容量に与える影響は何か？
• RQ5 提案された相関集約モジュール（CAM）は、既存の領域ベースメタ検出フレームワークへも効果的に適用可能か？

主な発見

• Meta-DETRは、複数の少数ショット検出ベンチマークで最先端の性能を達成し、特に低ショット設定において、先行研究を大きく上回る。
• 1ショット検出において、Pascal VOCで59.3%のmAP@0.5を達成し、CAMを搭載しないベースライン比で4.8%の向上を示した。
• 2ショット検出において、相関集約モジュール（CAM）がmAPを5.0%向上させ、クラス間相関を活用する有効性を実証した。
• 領域ベースのFsDetViewフレームワークにCAMを適用した場合、5ショット設定でmAPが最大5.9%向上し、CAMの高い適応性を確認した。
• t-SNE可視化により、CAMが特徴空間におけるクラス分離性を向上させ、ヤギとヒツジのような類似クラス間の混同を低減していることが確認された。
• 5つ以上のサポートクラスを同時に集約すると性能が低下する傾向にあり、相関の活用とモデル容量のトレードオフが生じることを示唆しており、これが5をデフォルトの集約クラス数として選択した理由となった。