[論文レビュー] LLaVA-Plus: Learning to Use Tools for Creating Multimodal Agents

Shilong Liu, Hao Cheng+11 more|arXiv (Cornell University)|Nov 9, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

LLaVA-Plus は、エンドツーエンドの視覚的指示チューニングを通じて、視覚および視覚言語モデルの多様なスキルリポジトリを学習するマルチモーダルエージェントであり、現実世界のタスクにおける動的で文脈に根ざしたツール構成を可能にします。VisIT-Bench において最先端の性能を達成し、LLaVA よりも 100 Elo ポイント以上優れ、物体検出、セマンティックセグメンテーション、インタラクティブな画像編集における発現的能力を示しています。

ABSTRACT

LLaVA-Plus is a general-purpose multimodal assistant that expands the capabilities of large multimodal models. It maintains a skill repository of pre-trained vision and vision-language models and can activate relevant tools based on users' inputs to fulfill real-world tasks. LLaVA-Plus is trained on multimodal instruction-following data to acquire the ability to use tools, covering visual understanding, generation, external knowledge retrieval, and compositions. Empirical results show that LLaVA-Plus outperforms LLaVA in existing capabilities and exhibits new ones. It is distinct in that the image query is directly grounded and actively engaged throughout the entire human-AI interaction sessions, significantly improving tool use performance and enabling new scenarios.

研究の動機と目的

• 現実世界の視覚言語タスクに適した、汎用的なマルチモーダルアシスタントの開発。
• プロンプトベースのツール利用の限界を克服し、相互作用全体を通じて視覚的信号を根拠にすることで、耐性と計画性を向上させる。
• 視覚言語相互作用におけるツール利用を目的とした、新たな大規模マルチモーダル指示従いデータセットの作成。
• ベースモデルの再トレーニングなしに、新しいツール固有の指示データで微調整することで、継続的な能力拡張を可能にする。
• 視覚的根拠を伴うエンドツーエンドのトレーニングが、発現的マルチモーダル推論およびツール構成能力を生み出すかどうかの検証。

提案手法

• 視覚的理解、生成、知識取得、およびそれらの組み合わせを含む、多様なツール利用例を含む、新たに収集されたマルチモーダル指示従いデータセットでモデルをトレーニング。
• LLaVA-Plus は、推論時に動的に有効化可能な、事前学習済みの視覚および視覚言語モデル（例：セグメンテーション、検出、画像生成用）のスキルリポジトリを維持。
• 相互作用全体を通じて生の視覚入力を使用することで、孤立したツール呼び出しに依存せず、根拠に基づいた推論と計画を可能にする。
• ツール選択と構成は、視覚的指示チューニングによりエンドツーエンドで学習され、LMM がマルチモーダル入力に基づいて関数呼び出しと引数を生成できるようにする。
• 新しいスキルは、新しいデータに対する指示チューニングにより統合され、アーキテクチャの変更なしにエージェントの能力を継続的に拡張可能。
• 視覚的文脈を保持し、それをツール計画と実行に活用できる、インタラクティブで複数回の対話が可能なフレームワークをサポート。

Figure 1: Visual illustration of LLaVA-Plus’ capabilities enabled by learning to use skills.

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの視覚的指示チューニングは、複雑な現実世界のタスクに適した複数のツールを効果的に構成できる大規模マルチモーダルモデルの学習を可能にするか？
• RQ2 相互作用セッション全体にわたり視覚的根拠を維持することで、プロンプトベースの手法と比較して、ツール利用の正確性と推論が顕著に向上するか？
• RQ3 マルチモーダルエージェントは、ベースモデルの再トレーニングなしに、指示チューニングのみで新しいツールを学習できるか？
• RQ4 ツール拡張付きのマルチモーダルエージェントの性能は、現実世界の指示ベースのベンチマークで最先端のモデルと比較してどうなるか？
• RQ5 多様な視覚および視覚言語ツールを、根拠に基づいたインタラクティブな環境で組み合わせることで、どのような発現的能力が生じるか？

主な発見

• LLaVA-Plus は VisIT-Bench ランキングで新たな最先端の性能を達成し、Elo ランク 1037 を記録。LLaVA よりも 100 ポイント以上優れている。
• 物体検出や局所化などの根拠に基づくタスクで優れた性能を示し、他のモデルが失敗する動的シーンにおいても、フリスビーの座標を正しく特定している。
• 視覚入力とユーザーの指示に基づき、特定の意味的レイアウト（例：「水中の風景」）を持つ新しい画像を生成するなど、複雑なタスクにおける複数ツールの構成に成功。
• 視覚分析と条件付き画像生成、キャプション作成を組み合わせることで、季節の変化にかかわらず一貫性を保ったまま、インタラクティブな画像編集とSNS投稿作成を可能に。
• 実証的結果から、相互作用全体にわたり視覚的信号を根拠にすることで、ツール利用のパフォーマンスが向上し、プロンプトベースのエージェントでは見られなかった新たな能力が実現されている。
• マルチモーダル計画とツール構成の発現的能力を示しており、例えば、検出されたシーン要素に基づいて画像生成用の適切な関数引数を生成する能力を備えている。

Figure 2: The four-step LLaVA-Plus pipeline.