[論文レビュー] Visual Prompting in Multimodal Large Language Models: A Survey

Junda Wu, Zhehao Zhang+13 more|arXiv (Cornell University)|Sep 5, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本サーベイは、マルチモodalな大規模言語モデル（MLLM）における視覚的プロンプトの最初の包括的分析を提示する。視覚的プロンプトの種別、生成手法、アライメント技術を分類し、微細な視覚的グランドイング、構成的推論、幻覚の低減を向上させる。視覚的プロンプトは、ピクセルレベルの異種プロンプトと体系的なトレーニング戦略を通じて、MLLMの認知能力と制御性を向上させる重要なパラダイムであると特定する。

ABSTRACT

Multimodal large language models (MLLMs) equip pre-trained large-language models (LLMs) with visual capabilities. While textual prompting in LLMs has been widely studied, visual prompting has emerged for more fine-grained and free-form visual instructions. This paper presents the first comprehensive survey on visual prompting methods in MLLMs, focusing on visual prompting, prompt generation, compositional reasoning, and prompt learning. We categorize existing visual prompts and discuss generative methods for automatic prompt annotations on the images. We also examine visual prompting methods that enable better alignment between visual encoders and backbone LLMs, concerning MLLM's visual grounding, object referring, and compositional reasoning abilities. In addition, we provide a summary of model training and in-context learning methods to improve MLLM's perception and understanding of visual prompts. This paper examines visual prompting methods developed in MLLMs and provides a vision of the future of these methods.

研究の動機と目的

• MLLMにおけるテキストプロンプトの限界、特に不正確な視覚的グランドイングや幻覚を解消するため。
• 境界ボックス、マーカー、ピクセルレベルのプロンプト、ソフトプロンプトを含む、視覚的プロンプト技術の体系的分類を提供するため。
• 自動視覚的プロンプト生成手法と、MLLM推論への統合を検討し、認知能力と推論能力の向上を図るため。
• 事前学習、微調整、コンテキスト内学習を用いたアライメント技術を分析し、視覚的プロンプトの誤解を低減し、構成的推論を強化するため。
• 視覚的プロンプトがバイアス低減および拡散・修復モデルにおける制御可能な視覚生成を可能にする役割を調査するため。

提案手法

• 空間的粒度とモodal に基づき、視覚的プロンプトを4つの主要な種別に分類：境界ボックス、マーカー、ピクセルレベルのプロンプト、ソフトプロンプト。
• 検出ベース、セグメンテーションベース、拡散ベースのプロンプト生成を含む、自動視覚的プロンプトアノテーションの生成手法をレビュー。
• クロスモーダルアテンションメカニズムを通じて、視覚的グランドイング、オブジェクト参照、構成的推論の向上を図るため、視覚的プロンプトがMLLMにどう統合されるかを分析。
• 指示微調整、対照的学習、コンテキスト内学習を含む、視覚エンコーダーとLLMバックボーンのアライメントを図るためのモデルトレーニング戦略を検討。
• 相互情報量デコードと共同視覚的・テキストプロンプトを用いることで、幻覚の低減に及ぼす視覚的プロンプトの影響を評価。
• ControlNet や T2I-Adapter を用いた制御メカニズムを通じて、テキストから画像への拡散モデル、画像編集、3D生成などの視覚生成タスクにおける視覚的プロンプトの活用を調査。

実験結果

リサーチクエスチョン

• RQ1 テキストプロンプトのみに比べて、視覚的プロンプトはMLLMにおける視覚的グランドイングとオブジェクト参照の正確性をどのように向上させるか？
• RQ2 視覚的プロンプトの主なカテゴリーと形式は何か？空間的・機能的粒度においてどのように異なるか？
• RQ3 検出、セグメンテーション、または拡散モデルを用いて、多様な画像に対して視覚的プロンプトを自動生成する方法は何か？
• RQ4 MLLMと視覚的プロンプトを効果的にアライメントさせるためのトレーニングおよびコンテキスト内学習戦略は何か？幻覚と言語バイアスの低減にどのように寄与するか？
• RQ5 視覚的プロンプトは、マルチモーダル生成タスクにおける構成的推論と制御性をどのように向上させるか？

主な発見

• 視覚的プロンプトは、視覚入力とより整合性の高いピクセルレベルの微細な指示を可能にすることで、視覚的グランドイングの向上と幻覚の低減に顕著に寄与する。
• 視覚的プロンプトとテキストプロンプトの併用は、特に複数オブジェクトの認識タスクにおいて、オブジェクトの幻覚を顕著に低減する。
• 相互情報量デコード戦略は、視覚的プロンプトの生成に与える影響を強化し、グランドイングの精度向上と幻覚の低減に寄与する。
• 検出モデルによるプロンプト生成は、キーワードがテキストプロンプトから抽出される場合に特に、関連性と正確性を向上させる。
• 視覚的プロンプトは、モデル出力を視覚的特徴に根拠づけることで、言語バイアスを低減し、誤った相関に依存するのを減らす。
• 視覚生成タスクでは、ControlNet や T2I-Adapter を介した視覚的プロンプトにより、空間的制御が可能になり、微調整後、6つの視覚タスクで性能が向上する。