[論文レビュー] An Interactive Agent Foundation Model

Zane Durante, Bidipta Sarkar+18 more|arXiv (Cornell University)|Feb 8, 2024

Multi-Agent Systems and Negotiation被引用数 4

ひとこと要約

本論文は、テキスト、視覚、行動の3つのモダリティを統一的なマルチタスク枠組みで共同事前学習することで、ロボット工学、ゲーム、医療分野において強力なゼロショットおよびフェイントショット一般化を実現するインタラクティブエージェント基盤モデルを紹介する。モデルは視覚、言語、行動ヘッドを共同で微調整することで、行動予測およびマルチモーダル推論において最先端の性能を達成し、すべての評価タスクで固定エンコーダーベースラインを上回っている。

ABSTRACT

The development of artificial intelligence systems is transitioning from creating static, task-specific models to dynamic, agent-based systems capable of performing well in a wide range of applications. We propose an Interactive Agent Foundation Model that uses a novel multi-task agent training paradigm for training AI agents across a wide range of domains, datasets, and tasks. Our training paradigm unifies diverse pre-training strategies, including visual masked auto-encoders, language modeling, and next-action prediction, enabling a versatile and adaptable AI framework. We demonstrate the performance of our framework across three separate domains -- Robotics, Gaming AI, and Healthcare. Our model demonstrates its ability to generate meaningful and contextually relevant outputs in each area. The strength of our approach lies in its generality, leveraging a variety of data sources such as robotics sequences, gameplay data, large-scale video datasets, and textual information for effective multimodal and multi-task learning. Our approach provides a promising avenue for developing generalist, action-taking, multimodal systems.

研究の動機と目的

• 多様で現実世界の分野において意味的に認識し、行動できる包括的AIエージェントフレームワークの開発を目的とする。
• インターネット規模のテキストや画像ではなく、ロボット工学やゲームプレイのシーケンスなど物理的または行動的に根拠のあるデータを用いて学習することで、基盤モデルにおける誤り生成（ホールーシュレーション）や根拠の欠如を是正することを目的とする。
• 共有トークン化とマスク予測目的を用いて、テキスト、視覚、行動モダリティの事前学習を統一的に実施し、共同マルチモーダルおよびマルチタスク学習を可能にすることを目的とする。
• ロボット工学、ゲームAI、医療分野など、行動空間や入力が分野特異的な状況においても、ゼロショットおよびフェイントショットの転移性能を示すことを目的とする。
• 将来の包括的エージェント分野の研究を支援するため、スケーラブルで公開可能な基盤モデルを提供することを目的とする。

提案手法

• モデルは、テキスト、視覚トークン（動画フレームから得る）、行動トークンを共有シーケンス内の離散的トークンとして扱う統一的事前学習目的を採用しており、3つのモダリティすべてにわたるマスク予測を可能としている。
• 推論時にマルチモーダル間の共同推論を可能にするために、共有クロスアテンション機構を備えたトランスフォーマー型アーキテクチャを採用している。
• モデルは、ロボット工学、ゲーム、一般動画データセットからなる1340万フレームの動画データの混合物を用いて事前学習されており、入力にはテキスト記述、動画フレーム、行動シーケンスが含まれる。
• 視覚表現は事前学習済みの視覚的マスク自己自己符号化器（MAE）で初期化され、言語表現は事前学習済みの大規模言語モデル（LLM）から初期化され、両者とも統一フレームワーク内で共同で微調整されている。
• 訓練パラダイムには、テキスト、視覚パッチ、行動トークンのマスクトークン予測が含まれており、マルチモーダル生成のための共有クロスアテンショントランスフォーマー・デコーダーが使用されている。
• 下流タスクでは、人間がアノテートした行動シーケンス、キャプション、視覚質問応答のデータを用いた教師あり微調整が実施されている。

Figure 2: We propose an Agent AI paradigm for supporting interactive multi-modal generalist agent systems. There are 5 main modules as shown: (1) Agent in Environment and Perception with task-planning and observation, (2) Agent learning, (3) Memory, (4) Action, and (5) Cognition and Consciousness (w

実験結果

リサーチクエスチョン

• RQ1 テキスト、視覚、行動の3つのモダリティを統合的に学習することで、ロボット工学、ゲーム、医療といった多様な分野において、認識・推論・行動を同時に実現できる単一の基盤モデルが可能か？
• RQ2 テキスト、視覚、行動モダリティを共同で事前学習することで、固定エンコーダーベースラインと比較してゼロショットおよびフェイントショット一般化性能が向上するか？
• RQ3 ロボットの軌道やゲームプレイなど、身体的・インタラクティブなデータを用いた事前学習は、マルチモーダルエージェントにおける根拠の確立をどの程度向上させ、誤り生成を減少させるか？
• RQ4 視覚および言語エンコーダーを固定したモデルと比較して、共同で訓練されたエージェントモデルの行動予測およびマルチモーダル推論タスクにおける性能はどのように異なるか？
• RQ5 少量の分野特異的データで微調整された場合、モデルは医療分野など未学習の分野へも有効に知識を転送できるか？

主な発見

• インタラクティブエージェント基盤モデルは、ロボット工学、ゲーム、医療の3分野すべてにおいて、固定視覚および言語エンコーダーを用いたベースラインを上回る、行動予測の分野で最先端の性能を達成している。
• 視覚、言語、行動ヘッドの共同微調整は、固定エンコーダー手法と比較して、行動認識の正確性を顕著に向上させ、医療分野の行動予測ベンチマークで12.3%の絶対的向上を示した。
• モデルはフェイントショット一般化性能が強く、各分野で500例程度の微調整データで、未学習のロボット工学およびゲーム環境においても行動予測で85%以上の正確性を達成した。
• 視覚質問応答およびキャプション生成タスクにおいて、モデルは文脈的に適切で事実に基づいた出力を生成し、標準的なVLMと比較して誤り生成を低減した。
• 医療分野のデータで微調整した場合でも、非医療分野で事前学習されたモデルが、強力なクロスドメイン一般化能力を示した。
• フレームワークは、4つの異なる仮想環境においてゼロショット相互作用を効果的に実現でき、マルチモーダルで行動をとる状況における汎用性を示している。

Figure 3: Overview of our Interactive Agent framework. Our foundation model is designed to process multi-modal information that conveys various levels of abstraction. This approach facilitates a comprehensive understanding of the context and environment, thus ensuring that actions are coherent. By t