[論文レビュー] What Makes for Good Visual Instructions? Synthesizing Complex Visual Reasoning Instructions for Visual Instruction Tuning

Yifan Du, Hangyu Guo+7 more|arXiv (Cornell University)|Nov 2, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

この論文は、マルチモodal大規模言語モデル（MLLM）のための効果的な視覚的指示が何を特徴としているかを調査し、複雑な視覚的推論タスクが性能向上に顕著に寄与することを明らかにした。著者らは、合成・複雑化・再構成のフレームワークを提案し、32,000件の高品質で複雑な視覚的推論指示（ComVint）を自動生成した。このフレームワークは一貫してMLLMの性能を向上させ、例えばMiniGPT-4とBLIP-2のMME-Cognitionにおける精度をそれぞれ32.6%および28.8%向上させた。

ABSTRACT

Visual instruction tuning is crucial for enhancing the zero-shot generalization capability of Multi-modal Large Language Models (MLLMs). In this paper, we aim to investigate a fundamental question: ''what makes for good visual instructions''. Through a comprehensive empirical study, we find that instructions focusing on complex visual reasoning tasks are particularly effective in improving the performance of MLLMs, with results correlating to instruction complexity. Based on this insight, we develop a systematic approach to automatically create high-quality complex visual reasoning instructions. Our approach employs a synthesize-complicate-reformulate paradigm, leveraging multiple stages to gradually increase the complexity of the instructions while guaranteeing quality. Based on this approach, we create the ComVint dataset with 32K examples, and fine-tune four MLLMs on it. Experimental results consistently demonstrate the enhanced performance of all compared MLLMs, such as a 27.86% and 27.60% improvement for LLaVA on MME-Perception and MME-Cognition, respectively. Our code and data are publicly available at the link: https://github.com/RUCAIBox/ComVint.

研究の動機と目的

• 視覚的指示がマルチモーダルLLMの性能向上に寄与する要因を特定すること。
• タスクタイプ、指示の複雑さ、アノテーションの多様性のうち、どれがMLLMの性能に最も影響を与えるかを調査すること。
• 高品質で複雑な視覚的推論指示を自動的かつ体系的に生成する手法を開発すること。
• 多様なベンチマークにわたるMLLMのゼロショット一般化性能を向上させる大規模な合成データセットを構築すること。
• 指示の複雑さとフォーマットが、複数のベンチマークにおけるモデル性能に与える影響を評価すること。

提案手法

• 複雑な視覚的推論指示を生成するために、合成・複雑化・再構成のパイプラインを用いる。
• 初期の指示は、画像アノテーション（例：キャプション、オブジェクト）に基づいたGPT-4のプロンプトを用いて合成する。
• 複雑化・検証のループを繰り返し、事実の整合性と品質を保ちつつ、指示の複雑さを段階的に向上させる。
• 再構成モジュールにより、指示を複数のフォーマット（オープンエンド、真偽質問、複数選択質問）に変換し、下流の適応性を高める。
• 生成される推論には、画像の内容に基づくクロスモダリティ推論と、外部知識を要するアウトサイド知識推論の2種類が含まれる。
• 最終的なデータセットであるComVintは32,000件の例を含み、MLLMの微調整用に公開されている。

実験結果

リサーチクエスチョン

• RQ1 視覚的指示チューニングにおけるどのタスクタイプがMLLMの性能向上に最も効果的か？
• RQ2 指示の複雑さとタスクの多様性、アノテーションの粒度の違いを比較した場合、どれがモデル能力の向上に寄与するか？
• RQ3 幻覚を伴わずに、自動パイプラインが高品質で複雑な視覚的推論指示を生成可能か？
• RQ4 指示フォーマット（例：オープンエンド対複数選択）が、異なるベンチマークにおけるモデル性能に与える影響は？
• RQ5 MLLMの一般化性能を最大化するには、視覚的推論指示の最適な複雑さの水準は何か？

主な発見

• 複雑な視覚的推論タスクは、評価ベンチマークにおけるMLLM性能向上において、画像キャプション作成や視覚的質疑応答よりも顕著に優れている。
• タスクの多様性の向上や詳細なアノテーションの追加よりも、指示の複雑さを高めることでより大きな性能向上が得られた。
• 32,000件の合成された複雑な視覚的推論指示を含むComVintデータセットは、MiniGPT-4とBLIP-2のMME-Cognitionにおける性能をそれぞれ32.6%および28.8%向上させた。
• 複雑化モジュールは性能向上に寄与した：第一ラウンドの複雑化でクロスモダリティ推論が平均で約1ポイント向上し、第二ラウンドの複雑化でアウトサイド知識推論が1ポイント以上向上した。
• 指示フォーマットの選択が重要である：SEED-Benchでは真偽質問フォーマットが最も高い精度を達成した一方、MME-Perceptionでは複数選択質問フォーマットが最良の結果を出した。
• オープンエンド、真偽質問、複数選択の3つのフォーマットを組み合わせた場合、全ベンチマークにおける平均精度が最も高くなり、フォーマットの多様性の利点が示された。