[論文レビュー] Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting

Guangxing Han, Long Chen+4 more|arXiv (Cornell University)|Apr 16, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

この論文は、微調整を伴わず、少数の視覚的例とクラスの意味情報を利用した、メタラーニングベースのクロスモーダルプロンプティングフレームワークを、マルチモーダル少数ショットオブジェクト検出（FSOD）に提案する。知識蒸留を用いてサポート画像からソフトプロンプトを生成することで、人間が提供するクラス名がなくても、新しいクラスの汎用的な検出器を学習可能であり、PASCAL VOCおよびMSCOCOベンチマークで最先端の性能を達成する。

ABSTRACT

We study multi-modal few-shot object detection (FSOD) in this paper, using both few-shot visual examples and class semantic information for detection, which are complementary to each other by definition. Most of the previous works on multi-modal FSOD are fine-tuning-based which are inefficient for online applications. Moreover, these methods usually require expertise like class names to extract class semantic embedding, which are hard to get for rare classes. Our approach is motivated by the high-level conceptual similarity of (metric-based) meta-learning and prompt-based learning to learn generalizable few-shot and zero-shot object detection models respectively without fine-tuning. Specifically, we combine the few-shot visual classifier and text classifier learned via meta-learning and prompt-based learning respectively to build the multi-modal classifier and detection models. In addition, to fully exploit the pre-trained language models, we propose meta-learning-based cross-modal prompting to generate soft prompts for novel classes present in few-shot visual examples, which are then used to learn the text classifier. Knowledge distillation is introduced to learn the soft prompt generator without using human prior knowledge of class names, which may not be available for rare classes. Our insight is that the few-shot support images naturally include related context information and semantics of the class. We comprehensively evaluate the proposed multi-modal FSOD models on multiple few-shot object detection benchmarks, achieving promising results.

研究の動機と目的

• オンラインアプリケーションにおける微調整ベースの少数ショットオブジェクト検出の非効率性を解消すること。
• 特にレアまたは未学習のクラスに対して、人間が提供するクラス名が不要な少数ショットオブジェクト検出を可能にすること。
• 視覚的および意味的入力を用いて、メトリックベースのメタラーニングとプロンプトベースの学習を統合するマルチモーダルFSODの統一的アプローチを実現すること。
• 知識蒸留を用いて、人間がアノテートしたクラス名に依存せずに、少数ショットのサポート画像からクラスに依存しないソフトクロスモーダルプロンプトを生成すること。
• 推論時にパラメータの更新が行われない強力な少数ショット一般化を達成すること。

提案手法

• 微調整を伴わず、ベースクラスと新しいクラスの両方に一般化可能な少数ショット視覚分類器を学習するため、メタラーニングを活用する。
• 事前学習済みのビジョン・ランゲージモデルを用いたプロンプトベースの学習により、ゼロショット一般化を実現するテキスト分類器を構築する。
• 少数ショットの視覚的サポート画像から新しいクラスのためのソフトプロンプトを生成するために、メタラーニングベースのクロスモーダルプロンプティングを導入する。
• 人間がアノテートしたクラス名に依存せずに、ソフトプロンプト生成器を知識蒸留を用いて訓練する。
• 視覚分類器とテキスト分類器を統合し、マルチモーダル検出ヘッドを構築して共同推論を実現する。
• 二本のブランチアーキテクチャを採用：一つはメタラーニングによる視覚的メトリック学習、もう一つはプロンプトベースのテキスト分類、両者をクロスモーダルアライメントで統合する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングとプロンプトベースの学習を効果的に統合することで、微調整を伴わない少数ショットオブジェクト検出が可能になるか？
• RQ2 クラス名の監視が不要な状況でも、少数ショットの視覚的例からのみソフトクロスモーダルプロンプトを生成できるか？
• RQ3 人間が提供するクラス名が利用できない状況でも、知識蒸留が効果的なソフトプロンプト生成を可能にするか？
• RQ4 提案手法は、クラス名が入手できないような希少または未学習のクラスに対しても一般化可能か？
• RQ5 DeFRCNのような微調整ベースの最先端手法と比較して、提案手法は少数ショット設定でどのように性能を発揮するか？

主な発見

• 提案手法は、微調整を一切行わず、PASCAL VOCおよびMSCOCOの少数ショットオブジェクト検出ベンチマークで最先端の性能を達成した。
• 挑戦的なMSCOCO 1ショット設定において、PCBモジュールを搭載しないDeFRCNよりも、メタラーニングオンliのモデルが優れた性能を示し、強力な一般化能力を示した。
• MSCOCO 1ショットでは22.2 mAP、5ショットでは18.7 mAPを達成し、先行するマルチモーダルFSOD手法を上回った。
• PCBモジュールを搭載したDeFRCNと提案手法を統合することで、全ショット数および全指標において一貫した性能向上が得られた。
• 知識蒸留に基づくソフトプロンプト生成器は、人間が提供するクラス名がなくても効果的なプロンプト生成を可能にし、特に希少クラスに対して重要である。
• アブレーションスタディの結果、クロスモーダルプロンプティングと知識蒸留が、本手法の性能および一般化能力の鍵を占めていることが確認された。