[論文レビュー] Large Multimodal Agents: A Survey

Junlin Xie, Zhihong Chen+3 more|arXiv (Cornell University)|Feb 23, 2024

Speech and dialogue systems被引用数 10

ひとこと要約

本調査は LLM 驅動の大規模マルチモーダルエージェント（LMAs）を分析し、4タイプの分類を提案し、協調フレームワークを検討し、標準化された評価フレームワークと今後の方向性を提示します。

ABSTRACT

Large language models (LLMs) have achieved superior performance in powering text-based AI agents, endowing them with decision-making and reasoning abilities akin to humans. Concurrently, there is an emerging research trend focused on extending these LLM-powered AI agents into the multimodal domain. This extension enables AI agents to interpret and respond to diverse multimodal user queries, thereby handling more intricate and nuanced tasks. In this paper, we conduct a systematic review of LLM-driven multimodal agents, which we refer to as large multimodal agents ( LMAs for short). First, we introduce the essential components involved in developing LMAs and categorize the current body of research into four distinct types. Subsequently, we review the collaborative frameworks integrating multiple LMAs , enhancing collective efficacy. One of the critical challenges in this field is the diverse evaluation methods used across existing studies, hindering effective comparison among different LMAs . Therefore, we compile these evaluation methodologies and establish a comprehensive framework to bridge the gaps. This framework aims to standardize evaluations, facilitating more meaningful comparisons. Concluding our review, we highlight the extensive applications of LMAs and propose possible future research directions. Our discussion aims to provide valuable insights and guidelines for future research in this rapidly evolving field. An up-to-date resource list is available at https://github.com/jun0wanan/awesome-large-multimodal-agents.

研究の動機と目的

• LMAs のコアコンポーネントを紹介する（知覚、計画、行動、記憶）。
• LMAs の4タイプ分類を提案し、設計上のトレードオフを検討する。
• 性能向上を目指したマルチエージェント協調フレームワークをレビューする。
• 評価手法を概説し、LMAs の標準化フレームワークを提案する。
• 応用事例を要約し、今後の研究指向を提案する。

提案手法

• プランナーと記憶に基づいて、既存の研究を4つのLMAタイプ（ Types I–IV ）に分類する。
• 知覚、計画、行動、記憶の構成要素と実装を説明する（表・図を参照）。
• 複数のLMAsと記憶機能を備えたアーキテクチャの協調フレームワークを検討する。
• 主観的および客観的指標、ベンチマーク、課題を含む評価手法を要約する。
• 公開リポジトリを通じて、LMAs の最新リソース一覧を提供する。

Figure 1: Representative research papers from top AI conferences on LLM-powered multimodal agents, published between November 2022 and February 2024, are categorized by model names, with earlier publication dates corresponding to names listed earlier.

実験結果

リサーチクエスチョン

• RQ1 LMAs の基本要素は何で、それらはどのように相互作用するのか？
• RQ2 プランナーの種類と記憶に基づいて、LMAs を包括的な分類（Types I–IV）にどう分類できるか？
• RQ3 効果的なマルチエージェント LMA システムを可能にする協調フレームワークは何か？
• RQ4 公平な比較と進捗追跡を可能にするために、LMAs はどのように評価されるべきか？
• RQ5 LMAs の主要な実世界の応用と今後の方向性は何か？

主な発見

• LMAs は、プランナーの特性と記憶の統合に基づいて4タイプ（Types I–IV）に分類される。
• メモリ機構（短期/長期）は、LMAs の能力と一般化に大きく影響する。
• LMAs 間の比較を標準化するための統一的な評価フレームワークとベンチマークが必要である。
• 協調的なマルチエージェントフレームワークは、タスク性能を向上させ、エージェント間でワークロードを分散できる。
• 本調査は幅広い応用（GUI自動化、ロボティクス、ゲームAI、自動運転、動画理解など）を強調し、最新のLMAsリソースを提供するGitHubリポジトリを紹介している。

Figure 2: Illustrations on four types of LMAs : (a) Type I: Closed-source LLMs as Planners w/o Long-term Memory. They mainly use prompt techniques to guide closed-source LLMs in decision-making and planning to complete tasks without long memory. (b) Type II:Finetuned LLMs as Planners w/o Long-term M