[論文レビュー] Revisiting Few-Shot Object Detection with Vision-Language Models

Anish Madan, Neehar Peri+2 more|arXiv (Cornell University)|Dec 22, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、ベース／ノーバルクラスに事前に定義された分割に依存せず、ターゲット概念のKショットの視覚的および言語的例にファインチューニングすることで、ビジョン・ランゲージ・モデル（VLMs）を評価する新しいベンチマークプロトコル、Foundational Few-Shot Object Detection（Foundational FSOD）を提案する。GroundingDINOのようなゼロショットVLMは、最先端のFSOD手法（COCOで48.3 vs. 33.1 AP）を上回ることを示し、さらにフェデレーテッド損失関数とマルチモーダルファインチューニングを用いることで、LVISおよびnuImagesで5.9 APの向上を達成した。

ABSTRACT

The era of vision-language models (VLMs) trained on web-scale datasets challenges conventional formulations of "open-world" perception. In this work, we revisit the task of few-shot object detection (FSOD) in the context of recent foundational VLMs. First, we point out that zero-shot predictions from VLMs such as GroundingDINO significantly outperform state-of-the-art few-shot detectors (48 vs. 33 AP) on COCO. Despite their strong zero-shot performance, such foundation models may still be sub-optimal. For example, trucks on the web may be defined differently from trucks for a target application such as autonomous vehicle perception. We argue that the task of few-shot recognition can be reformulated as aligning foundation models to target concepts using a few examples. Interestingly, such examples can be multi-modal, using both text and visual cues, mimicking instructions that are often given to human annotators when defining a target concept of interest. Concretely, we propose Foundational FSOD, a new benchmark protocol that evaluates detectors pre-trained on any external data and fine-tuned on multi-modal (text and visual) K-shot examples per target class. We repurpose nuImages for Foundational FSOD, benchmark several popular open-source VLMs, and provide an empirical analysis of state-of-the-art methods. Lastly, we discuss our recent CVPR 2024 Foundational FSOD competition and share insights from the community. Notably, the winning team significantly outperforms our baseline by 23.3 mAP! Our code and dataset splits are available at https://github.com/anishmadan23/foundational_fsod

研究の動機と目的

• ビジョン・ランゲージ・モデル（VLMs）と実世界のターゲット概念（例：自動走行における「トレーラー」）との間の不一致を是正すること。
• 従来の少数ショットオブジェクト検出（FSOD）パラダイム（データセットをベースクラスとノーバルクラスに分割する）が、実際の展開状況を反映していないことを挑戦すること。
• VLMをターゲットクラスのKショットの視覚的および言語的例に直接ファインチューニングすることで、VLMがターゲット概念に適応する新しいベンチマークプロトコル—Foundational FSOD—を提案すること。
• フェデレーテッド損失関数（各サブセットが1つのカテゴリに対して完全にアノテーションされているという事実を活用）が、ファインチューニング中のモデルのターゲット概念との整合性を著しく向上させることを示すこと。

提案手法

• ベース／ノーバルクラスの分割を回避し、Kショットの画像と関連するクラス名／記述を直接ファインチューニングすることで、ファインチューニングされた基礎的VLMを評価する新しいベンチマークプロトコル「Foundational FSOD」を提案する。
• 既存のFSODベンチマークがフェデレーテッドデータセットである（各画像サブセットが1つのカテゴリに対して完全にアノテーションされている）という洞察を活用し、フェデレーテッド損失関数の適用を可能にする。
• フェデレーテッド損失関数（例：FedLoss、逆数FedLoss、偽ネガティブ）を用いて、ファインチューニング中にターゲット概念との整合性を向上させる。
• Detic や GroundingDINO などのビジョン・ランゲージ・モデルを用い、CLIPの埋め込みで分類器ヘッドを初期化することで、ゼロショット転送と効率的な少数ショット適応を可能にする。
• ファインチューニング戦略の最適化を特定するためのアブレーションスタディを実施し、バックボーンとRPNは凍結し、分類器のプロジェクションとボックス回帰器のみをファインチューニングする戦略が最良の性能を示すことを確認した。
• LVISおよびnuImagesでアプローチを検証し、最先端の手法および完全なアノテーションを持つオラクル上限とを比較した。

Figure 2 : Poor Alignment Between VLM and Target Concepts . Although VLMs show impressive zero-shot performance, they struggle when the target class is different from concepts encountered in web-scale training. On the left , we see that the nuImages dataset defines the cab of the truck as a separate

実験結果

リサーチクエスチョン

• RQ1 事前学習済みビジョン・ランゲージ・モデル（例：GroundingDINO）のゼロショット推論は、ファインチューニングなしで最先端の少数ショットオブジェクト検出手法を上回ることができるか？
• RQ2 強力なゼロショット性能を示すにもかかわらず、なぜビジョン・ランゲージ・モデルはドメイン特化アプリケーションにおいてもターゲット概念を正確に検出できないのか？
• RQ3 Kショットのマルチモーダル例（画像＋テキスト記述）によるファインチューニングは、ドメイン特化環境における概念の整合性と検出性能を向上させることができるか？
• RQ4 既存の少数ショットオブジェクト検出データセットのフェデレーテッド性をどのように活用し、最小限のアノテーションコストでファインチューニングを改善できるか？
• RQ5 フェデレーテッド損失関数は、完全なアノテーションを持つオラクル上限と比較して、現在の少数ショット検出性能のギャップをどの程度埋めることができるか？

主な発見

• 事前学習済みビジョン・ランゲージ・モデル（例：GroundingDINO）のゼロショット推論は、COCOで48.3 APを達成し、以前の最先端手法（33.1 AP）を著しく上回った。
• LVISおよびnuImagesベンチマークでは、Kショットファインチューニングとフェデレーテッド損失関数を用いることで、先行研究比で検出性能が5.9 AP向上した。
• CLIPで初期化された分類器ヘッドを用い、分類器のプロジェクション層のみをトレーニングすることで最良の性能が得られ、少数ショット適応における事前学習済み言語埋め込みの利点が顕著に示された。
• フェデレーテッド損失関数（特に偽ネガティブと逆数FedLoss）の使用により顕著な向上が得られ、最良の設定では10ショットでnuImagesで16.67 APに達した。
• アブレーションスタディの結果、バックボーンとRPNを凍結し、分類器のプロジェクションとボックス回帰器のみをファインチューニングすることで最適な性能が得られ、少数ショットデータに対する過学習が最小限に抑えられた。
• 強力なゼロショット性能にもかかわらず、レアカテゴリ（例：ステッカー）では検出精度が低く、今後の研究ではモデルアンサンブルやより洗練されたテキスト記述の導入が求められることが示唆された。

Figure 3 : Identifying Negative Pseudo-Labels . On the left , we visualize the standard $K$ -shot detection setup, which we argue is actually a federated dataset [ 11 ] where one is given multiple mini-datasets of $K$ images. In this case, we visualize two $K=1$ datasets of bus and motorcycle . Impo