[論文レビュー] To See is to Believe: Prompting GPT-4V for Better Visual Instruction Tuning

Junke Wang, Lingchen Meng+4 more|arXiv (Cornell University)|Nov 13, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、LVISデータセットの画像とバウンディングボックスアノテーションを用いてGPT-4Vにプロンプトを発行することで生成された22万件のサンプルからなる視覚的インストラクションデータセット、LVIS-Instruct4Vを提案する。GPT-4Vの直接的な視覚的理解を活用することで、細かく文脈に即した、視覚的に整合したインストラクション・アンサー対を生成し、LLaVA-1.5の性能を、MME（+43.6）およびMM-Vet（+5.6%）でSOTAを記録するなど、さまざまなベンチマークで顕著に向上させた。

ABSTRACT

Existing visual instruction tuning methods typically prompt large language models with textual descriptions to generate instruction-following data. Despite the promising performance achieved, these descriptions are derived from image annotations, which are oftentimes coarse-grained. Furthermore, the instructions might even contradict the visual content without observing the entire visual context. To address this challenge, we introduce a fine-grained visual instruction dataset, LVIS-Instruct4V, which contains 220K visually aligned and context-aware instructions produced by prompting the powerful GPT-4V with images from LVIS. Through experimental validation and case studies, we demonstrate that high-quality visual instructional data could improve the performance of LLaVA-1.5, a state-of-the-art large multimodal model, across a wide spectrum of benchmarks by clear margins. Notably, by simply replacing the LLaVA-Instruct with our LVIS-Instruct4V, we achieve better results than LLaVA on most challenging LMM benchmarks, e.g., LLaVA$^w$ (76.7 vs. 70.7) and MM-Vet (40.2 vs. 35.4). We release our data and model at https://github.com/X2FD/LVIS-INSTRUCT4V.

研究の動機と目的

• 既存の視覚的インストラクションチューニング手法が画像アノテーションからの粗いテキスト記述に依存するという限界を是正すること。
• 大規模なマルチモーダルモデルがデータ生成中に画像を直接観察できるようにすることで、インストラクションフォローアップデータの正確性と視覚的根拠の質を向上させること。
• 複雑なベンチマークでマルチモーダル言語モデルの性能を向上させる高品質で細分化された視覚的インストラクションデータセットを開発すること。
• GPT-4Vがテキストオンリーのプロンプトより優れたインストラクションデータを生成できることを示し、下流のマルチモーダル推論で測定可能な向上をもたらすことを目的とする。
• 標準的なインストラクションデータをLVIS-Instruct4Vに置き換えることで、挑戦的なLMMベンチマークでSOTAの性能が達成されることを検証すること。

提案手法

• 画像とLVISデータセットのバウンディングボックスアノテーションを入力として、視覚言語モデルであるGPT-4Vを用いてインストラクション・アンサー対を生成する。
• 2段階のプロンプトパイプラインを設計：第一段階では文脈に即した視覚的対話（ダイアログ）を生成し、第二段階では視覚的詳細に基づいた高品質な画像記述を生成する。
• 画像とその局所化アノテーションを同時にプロンプトとして与えることで、22万件の視覚的に整合し、細分化されたインストラクション・アンサー対をキュレートする。
• 同じモデルアーキテクチャとトレーニング手順を維持したまま、LLaVA-1.5をLVIS-Instruct4Vデータセットのみを用いてファインチューニングする。
• トレーニング中にLVIS-Instruct4VとLLaVA-Instructを混合することで、汎化性とロバスト性をさらに向上させる。
• ファインチューニングした言語モデルの影響、トレーニングスケジュールの長さ、データ混合戦略の影響を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 GPT-4Vが画像に直接アクセスできる場合、テキストオンリーのプロンプトに比べて、より正確で文脈に即した視覚的インストラクションデータを生成できるか？
• RQ2 GPT-4Vが生成したインストラクションデータを用いることで、細分化された視覚的推論ベンチマークにおけるマルチモーダルモデルの性能がどの程度向上するか？
• RQ3 LLaVA-Instructなどの既存のインストラクションチューニングデータセットと比較して、LVIS-Instruct4Vは視覚的根拠の質とモデルの汎化性において優れているか？
• RQ4 LVIS-Instruct4VとLLaVA-Instructのデータ混合が、多様なマルチモーダルベンチマークにおけるモデル性能にどのような影響を与えるか？
• RQ5 インストラクションデータの品質が、MMEやMM-Vetのような挑戦的なベンチマークでの改善と相関しているか？

主な発見

• LVIS-Instruct4VのみでファインチューニングされたLLaVA-1.5は、LLaVA wで76.7、MM-Vetで40.2を記録し、元のLLaVAモデル（70.7および35.4）を上回った。
• LVIS-Instruct4Vでトレーニングされた13Bバージョンのモデルは、VQAv2で80.7を達成し、LLaVA-1.5の80.0を上回った。
• LVIS-Instruct4VとLLaVA-Instructを混合することで、11のベンチマークのうち9つでSOTAの結果が得られ、MMEでは1574.9（LLaVA-1.5比+43.6ポイント）を記録した。
• LVIS-Instruct4Vでトレーニングされたモデルは、シーンテキスト認識能力に優れ、LLaVA-1.5が1つを逃した2つのテキストを正しく特定した。
• LLaVA-1.5が誤った割り当てを行ったのに対し、LVIS-Instruct4Vでトレーニングされたモデルは、ボウルの位置関係などの細分化された視覚的比較において正しく対象を特定した。
• アブレーションスタディの結果、言語モデルを固定した状態でもLVIS-Instruct4VはMMEで1544.3（LLaVA-1.5比1531.3）を記録し、さらにモデルをファインチューニングすることで1581.3まで向上した。