[論文レビュー] Contextual Object Detection with Multimodal Large Language Models

Yuhang Zang, Wei Li+3 more|arXiv (Cornell University)|May 29, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、視覚エンコーダ、事前学習済みの大規模言語モデル（LLM）による文脈デコード、および境界ボックス予測のための視覚デコーダを統合することで、文脈的対象検出を可能にする新しいエンドツーエンドマルチモーダルモデル、ContextDETを紹介する。本モデルは、オープンボックス検出および新規ベンチマーク（CODE）において最先端の性能を達成し、MLLMが標準的な検出をはるかに超えて、細分化された言語条件付き対象局在化に有効であることを示している。

ABSTRACT

Recent Multimodal Large Language Models (MLLMs) are remarkable in vision-language tasks, such as image captioning and question answering, but lack the essential perception ability, i.e., object detection. In this work, we address this limitation by introducing a novel research problem of contextual object detection -- understanding visible objects within different human-AI interactive contexts. Three representative scenarios are investigated, including the language cloze test, visual captioning, and question answering. Moreover, we present ContextDET, a unified multimodal model that is capable of end-to-end differentiable modeling of visual-language contexts, so as to locate, identify, and associate visual objects with language inputs for human-AI interaction. Our ContextDET involves three key submodels: (i) a visual encoder for extracting visual representations, (ii) a pre-trained LLM for multimodal context decoding, and (iii) a visual decoder for predicting bounding boxes given contextual object words. The new generate-then-detect framework enables us to detect object words within human vocabulary. Extensive experiments show the advantages of ContextDET on our proposed CODE benchmark, open-vocabulary detection, and referring image segmentation. Github: https://github.com/yuhangzang/ContextDET.

研究の動機と目的

• マルチモーダル大規模言語モデル（MLLM）が強力な視覚言語理解を備えながらも、対象検出機能を欠いているという限界に対処する。
• 人間の言語的文脈に類似した豊かな文脈に基づいて対象を検出・局在化するという、新たな研究課題「文脈的対象検出」を提示する。
• 正確な対象局在化と識別が可能な、視覚言語文脈のエンドツーエンドで微分可能な統合フレームワークを構築する。
• 閉じたセットの検出器や「検出→分類」のパラダイムの制約を克服し、『花婿』や『ホッケーのゴールキーパー』といったオープンボックスで文脈に特化した対象語を検出可能にする。

提案手法

• 生成→検出フレームワークを提案：まず、視覚的およびタスク固有のトークンを条件として、事前学習済みLLMを用いて自然言語の記述を生成する。
• LLMが生成したトークンを条件付き事前分布として用い、視覚デコーダがクロスアテンション機構を介して境界ボックスを予測する。
• 局所的およびグローバルな視覚特徴を抽出するために、視覚エンコーダ（例：ResNet）を採用し、局所的トークンをLLMの視覚プレフィックス入力として使用する。
• LLMトークンから条件付き対象クエリを計算し、全視覚トークンに注目するクロスアテンション層を備えた視覚デコーダを設計し、一致スコアおよび境界ボックスを予測する。
• 言語生成による対象語とその対応する視覚的位置を整合させる統一的目的関数を用いて、エンドツーエンドでモデルを訓練する。
• MLLMに『この画像に[CLASS]は存在しますか？』とプロンプトすることで、モデルをオープンボックス検出に適応させ、応答を検出の条件付き入力として使用する。

Figure 1: We present a new contextual object detection task include (a) look at the image and complete the masked object names and locations; (b) predict the caption and the boxes of objects existing in the caption; (c) answer a question about the names and locations of objects. Unlike the tradition

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル大規模言語モデルは、標準的な分類をはるかに超えて、文脈的対象検出を効果的に拡張可能か？
• RQ2 MLLMベースのモデルは、『花婿』や『カウボーイ』、『ホッケーのゴールキーパー』といったオープンボックスで文脈に特化した対象語をどれほど正確に検出・局在化できるか？
• RQ3 豊かな言語的文脈を伴うゼロショットおよびオープンボックス設定において、生成→検出フレームワークは従来の対象検出器を上回る性能を示せるか？
• RQ4 MLLMが生成する文脈を用いることで、対象検出タスクにおける汎化性能と解釈可能性はどの程度向上するか？

主な発見

• ContextDETは、OV-COCOベンチマークの新規セットで36.8%のAP50を達成し、以前のSOTA手法BARONを2.8ポイント上回った。
• ベースクラスおよびすべてのクラスにおいて、それぞれ65.1%および57.7%のAP50を達成し、BARONを4.7ポイントおよび4.2ポイント上回った。
• 標準的な検出器が認識できない『花婿』や『花嫁』、『ホッケーのゴールキーパー』といった分布外の対象語を検出することで、ゼロショット一般化性能が顕著に向上した。
• 定性的な結果から、ContextDETは生成されたキャプションや質問に言及された対象を正しく局在化できるが、標準的なMLLMはテキスト出力にとどまることが確認された。
• アブレーションスタディにより、9つの視覚トークンをプレフィックスとして使用する（p=9）ことで最適な性能が得られ、視覚プレフィックス機構の設計が妥当であることが裏付けられた。
• モデルは、文脈に適した対象名と正確な境界ボックスを生成することで、優れた解釈性を示し、より豊かな人間とAIのインタラクションを可能にした。

Figure 2: Our ContextDET is a unified end-to-end framework, being capable of taking different language token inputs for different tasks, including (a) cloze test (b) captioning and (c) question answering. : frozen. The symbol ${\bm{e}}$ indicates latent embeddings of LLM (Section 3.2 ), and the symb