[論文レビュー] Steve-Eye: Equipping LLM-based Embodied Agents with Visual Perception in Open Worlds

Sipeng Zheng, Jiazheng Liu+2 more|arXiv (Cornell University)|Oct 20, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Steve-Eye は、ChatGPT を用いて収集された 850K 個の指示従いデータペアを用いて事前学習された言語モデルと視覚エンコーダーを統合することで、Minecraft のようなオープンワールド環境において、LLM をベースとする身体的なエージェントに視覚的認識能力を付与する大規模なマルチモーダルモデルである。850K 個の指示従いデータペアを用いて訓練された本モデルは、マルチモーダル認識、基礎的知識の根拠づけ、スキル計画の分野で最先端の性能を達成し、3 つのオープンワールドベンチマークでベースラインを上回り、複雑なタスクにおいて最大 73% の成功率を記録した。

ABSTRACT

Recent studies have presented compelling evidence that large language models (LLMs) can equip embodied agents with the self-driven capability to interact with the world, which marks an initial step toward versatile robotics. However, these efforts tend to overlook the visual richness of open worlds, rendering the entire interactive process akin to "a blindfolded text-based game." Consequently, LLM-based agents frequently encounter challenges in intuitively comprehending their surroundings and producing responses that are easy to understand. In this paper, we propose Steve-Eye, an end-to-end trained large multimodal model designed to address this limitation. Steve-Eye integrates the LLM with a visual encoder which enables it to process visual-text inputs and generate multimodal feedback. In addition, we use a semi-automatic strategy to collect an extensive dataset comprising 850K open-world instruction pairs, empowering our model to encompass three essential functions for an agent: multimodal perception, foundational knowledge base, and skill prediction and planning. Lastly, we develop three open-world evaluation benchmarks, then carry out extensive experiments from a wide range of perspectives to validate our model's capability to strategically act and plan. Codes and datasets will be released.

研究の動機と目的

• テキストのみの LLM ベースのエージェントが、視覚的理解を欠き、直感的でない、文脈に曖昧な応答を生成するという制限を克服すること。
• 視覚的およびテキスト的入力を認識し、現実世界の文脈に根拠を置いた推論を行い、実行可能な計画を生成できるマルチモーダルエージェントを開発すること。
• エージェントのマルチモーダル認識、知識ベース統合、スキル計画のエンドツーエンド訓練を可能にする大規模かつ高品質な指示データセットを構築すること。
• Minecraft のようなオープンエンドの環境を用いた包括的なベンチマークを通じて、モデルの能力を検証し、戦略的計画と実行の能力を示すこと。

提案手法

• Steve-Eye モデルは、視覚エンコーダー（例：CLIP をベースとする）と事前学習済み言語モデルを組み合わせ、マルチモーダル入力（画像 + テキスト）を処理し、マルチモーダル出力を生成する。
• 半自動的なデータ収集パイプラインにより、ChatGPT を用いて 850K 個の指示従いデータペア（視覚的観察、文脈的テキスト、エキスパートの推論付き応答）が生成された。
• モデルは、このデータセット上でエンドツーエンドに微調整され、3 つのコア機能を学習する：マルチモーダル認識、基礎的知識の根拠づけ、スキル予測と計画。
• 評価は、Minecraft を主なテストベッドとして用い、3 つのオープンワールドベンチマーク（スキル予測、スキル計画、マルチモーダル認識）で実施された。
• ルールベースのゲーム状態判断を学習済みのスキル予測に置き換えることで、自己駆動型の動作を可能にした。
• 変種である Steve-Eye-auto は、外部のゲーム判断をモデル自身のスキル予測に置き換えることで、完全に自律的な相互作用を実現した。

実験結果

リサーチクエスチョン

• RQ1 大規模なマルチモーダルモデルは、視覚的およびテキスト的入力を効果的に統合し、オープンワールド環境におけるエージェントの環境理解を向上させることができるか？
• RQ2 微調整されたマルチモーダルモデルは、複雑でオープンエンドな環境内でのスキル計画と実行において、テキストのみの LLM よりもどれほど優れているか？
• RQ3 半自動的に収集された指示データセットは、身体的なエージェントにおけるマルチモーダル認識、知識の根拠づけ、計画の実現にどれほど効果的か？
• RQ4 マルチモーダルエージェントは、ルールベースのゲーム状態評価を、学習済みの自己予測されたスキル実行に置き換えることができるか？また、複雑なタスクにおいて性能がどの程度低下するか？

主な発見

• 13b パラメータバージョンを用いたスキル予測ベンチマークでは、92.1% のリCALL と 84.2% の精度を達成し、ベースラインモデルを著しく上回った。
• スキル計画ベンチマークでは、24 個の複雑なタスクにおいて平均 73% の成功率を記録し、MineAgent（0.46）と GPT アシスタント（0.57）の主要指標を上回った。
• ルールベースのゲーム判断をモデル自身のスキル予測に置き換えた Steve-Eye-auto は、最も困難なタスクで 70% の成功率を達成し、強力な自己駆動型能力を示した。
• 長時間で複雑なタスクにおいても、モデルの性能劣化は観察されたが、依然としてベースラインより著しく優れており、延長された推論における頑健性を示した。
• 図 5 の定性的分析では、Steve-Eye がタスク目標（例：木のピックアックスから石の斧を製作する）に整合した一貫性のある段階的スキル計画を生成していることが示された。
• 850K 個の指示データセットにより、モデルは微細な視覚的・テキスト的推論、常識的知識、順序計画の習得が可能になり、オープンワールド自律性に不可欠な要素を習得した。