[論文レビュー] JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language Models

Zihao Wang, Shaofei Cai+10 more|arXiv (Cornell University)|Nov 10, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

JARVIS-1 は、視覚的および言語的入力を用いて、オープンワールド型 Minecraft 環境において、強力で長時間にわたる計画立案と制御を可能にするメモリ拡張型マルチモーダル言語モデルベースのエージェントである。過去の成功した計画や経験を格納するマルチモーダルメモリを統合することで、長時間にわたる『DiamondPickaxeを手に入れる』タスクで 12.5% の成功確率を達成し、これは従来の最先端エージェントの 5 倍に相当する。これは、追加の訓練なしに自己改善型で継続的学習が可能な能力を示している。

ABSTRACT

Achieving human-like planning and control with multimodal observations in an open world is a key milestone for more functional generalist agents. Existing approaches can handle certain long-horizon tasks in an open world. However, they still struggle when the number of open-world tasks could potentially be infinite and lack the capability to progressively enhance task completion as game time progresses. We introduce JARVIS-1, an open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, all within the popular yet challenging open-world Minecraft universe. Specifically, we develop JARVIS-1 on top of pre-trained multimodal language models, which map visual observations and textual instructions to plans. The plans will be ultimately dispatched to the goal-conditioned controllers. We outfit JARVIS-1 with a multimodal memory, which facilitates planning using both pre-trained knowledge and its actual game survival experiences. JARVIS-1 is the existing most general agent in Minecraft, capable of completing over 200 different tasks using control and observation space similar to humans. These tasks range from short-horizon tasks, e.g., "chopping trees" to long-horizon tasks, e.g., "obtaining a diamond pickaxe". JARVIS-1 performs exceptionally well in short-horizon tasks, achieving nearly perfect performance. In the classic long-term task of $ exttt{ObtainDiamondPickaxe}$, JARVIS-1 surpasses the reliability of current state-of-the-art agents by 5 times and can successfully complete longer-horizon and more challenging tasks. The project page is available at https://craftjarvis.org/JARVIS-1

研究の動機と目的

• タスク固有の微調整なしに、Minecraft のようなオープンワールド環境で多様で長時間にわたるタスクを実行できる汎用エージェントの開発。
• 現在の LLM ベースエージェントのマルチモーダル認識、長期計画、継続的学習における限界の解決。
• 自律的なタスク提案と経験ベースのメモリ検索を通じて、自己改善型で継続的学習が可能な行動の実現。
• マルチモーダルメモリシステムを介して事前学習済み知識とリアルタイムのインタラクション経験を統合することで、計画の強靭性を向上。

提案手法

• JARVIS-1 は、視覚的・意味的理解に MineCLIP を用い、高レベルの計画に大規模言語モデル（LLM）を統合したハイブリッドアーキテクチャに基づく。
• 画像と自然言語による指示というマルチモーダル入力を、統合されたマルチモーダル言語モデル（MLM）で処理し、タスク固有の行動計画を生成する。
• 過去の成功した計画と環境的文脈を格納・検索可能なマルチモーダルメモリを導入し、事前学習済み知識と本物のゲームプレイ経験の両方からの文脈内学習を可能にする。
• エージェントはゴール条件付きコントローラーを用いて計画を実行し、高レベルの計画を Minecraft 環境内の低レベル行動に変換する。
• JARVIS-1 は自己指導メカニズムを採用し、ゲームプレイ中に自律的に新しいタスクを提案することで、継続的な探索と経験蓄積を促進する。
• エージェントはデモンストレーションを一切不要とし、経験リプレイとメモリ拡張型推論を通じて、時間の経過とともに性能を向上させる。

Figure 1: How does JARVIS -1 unlock the technology tree of the Minecraft universe. JARVIS -1 can consistently obtain high-level items on the main tech-tree of the overworld in Minecraft, such as diamond, redstone, and golden items, which require collecting over 10 different intermediate items. JARVI

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル言語モデルベースのエージェントは、Minecraft のオープンワールド環境において 200 以上の多様なタスクにわたる強力で一般化可能な計画を達成できるか？
• RQ2 マルチモーダルメモリを統合することで、標準的な LLM ベースエージェントと比較して、長時間にわたる計画性能がどの程度向上するか？
• RQ3 継続的学習の文脈において、自律的なタスク提案と経験蓄積を通じて、エージェントがどの程度自己改善できるか？
• RQ4 追加の訓練なしに、ゲームプレイ時間の経過とともにエージェントの性能が向上するか？

主な発見

• JARVIS-1 は、長時間にわたる『DiamondPickaxeを手に入れる』タスクで 12.5% の成功確率を達成し、これは従来の最先端エージェント VPT（2.5%）の 5 倍に相当する。
• 短時間にわたるタスクではほぼ完璧な性能を示しており、一般化能力と実行の正確性が優れていることが裏付けられている。
• 長時間にわたるタスクにおける性能は、追加の訓練なしにゲームプレイ時間の経過とともに継続的に向上しており、効果的な経験蓄積と学習が行われていることが示唆されている。
• マルチモーダルメモリは、特に複雑で多段階のタスクにおいて、計画の整合性と正確性を顕著に向上させている。
• 継続的学習実験では、JARVIS-1 は新たなタスクを自律的に提案し、経験を収集し、自己主導的な探索を通じて計画能力を向上させた。
• エージェントは、ドロップレートの高いダイヤモンド装備品（ダイヤモンドチェストプレートなど）をほぼすべて作成可能であり、技術ツリー全体を習得できることを確認した。

Figure 2: Challenges in open-world environments and how does JARVIS -1 tackle them . (Left) With situation-aware planning, JARVIS -1 substantially improves the success rate on the challenging ObtainDiamond task, compared to the baseline (GPT) without it. Note: Due to resource constraints, we can onl