[論文レビュー] Ghost in the Minecraft: Generally Capable Agents for Open-World Environments via Large Language Models with Text-based Knowledge and Memory

Xizhou Zhu, Yuntao Chen+11 more|arXiv (Cornell University)|May 25, 2023

Topic Modeling参考文献 27被引用数 24

ひとこと要約

本論文は GITM を導入する。テキストベースの知識とメモリを用いた LLMs を活用し、Minecraft で一般的に有能なエージェントを構築する枠組みで、構造化アクションとキーボード/マウス操作への階層的ゴール分解を通じて、RL ベースの方法に比べ大幅な改善を達成する。

ABSTRACT

The captivating realm of Minecraft has attracted substantial research interest in recent years, serving as a rich platform for developing intelligent agents capable of functioning in open-world environments. However, the current research landscape predominantly focuses on specific objectives, such as the popular "ObtainDiamond" task, and has not yet shown effective generalization to a broader spectrum of tasks. Furthermore, the current leading success rate for the "ObtainDiamond" task stands at around 20%, highlighting the limitations of Reinforcement Learning (RL) based controllers used in existing methods. To tackle these challenges, we introduce Ghost in the Minecraft (GITM), a novel framework integrates Large Language Models (LLMs) with text-based knowledge and memory, aiming to create Generally Capable Agents (GCAs) in Minecraft. These agents, equipped with the logic and common sense capabilities of LLMs, can skillfully navigate complex, sparse-reward environments with text-based interactions. We develop a set of structured actions and leverage LLMs to generate action plans for the agents to execute. The resulting LLM-based agent markedly surpasses previous methods, achieving a remarkable improvement of +47.5% in success rate on the "ObtainDiamond" task, demonstrating superior robustness compared to traditional RL-based controllers. Notably, our agent is the first to procure all items in the Minecraft Overworld technology tree, demonstrating its extensive capabilities. GITM does not need any GPU for training, but a single CPU node with 32 CPU cores is enough. This research shows the potential of LLMs in developing capable agents for handling long-horizon, complex tasks and adapting to uncertainties in open-world environments. See the project website at https://github.com/OpenGVLab/GITM.

研究の動機と目的

• オープンワールド環境における単一タスク RL ベンチマークを超えた一般的に能力を持つエージェント（GCA）の必要性を動機づける。
• 長期的なゴールをサブゴールと構造化されたアクションに分解する階層的な LLM ベースの枠組みを提案する。
• テキストベースの知識とメモリが、GPU トレーニングなしで Minecraft における効率的な計画と実行を可能にすることを示す。

提案手法

• テキストベースの知識を用いて目標を再帰的にサブゴールの木に分解する LLM Decomposer を導入する。
• 構造化アクションの系列を生成し、成功した計画のテキストベースのメモリを維持する LLM Planner を開発する。
• 手書きスクリプトを介して構造化アクションをキーボード/マウス操作として実行する LLM Interface を実装する。
• Minecraft Wiki のテキストベースの外部知識ベースとクラフトレシピを活用して計画を導く。
• 環境からのフィードバックを用いて閉ループの LLM 計画プロセスで計画を修正する。
• 定義済みの意味論を持つアクションを抽象化する（例：equip, explore, mine, craft）ことで LLM による認知的な計画を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テキストベースの知識とメモリを備えた LLM ベースのエージェントは、長期的な Minecraft タスクを RL ベースのコントローラよりも良く解決できるか。
• RQ2 サブゴールと構造化されたアクションへの階層的分解は、Minecraft Overworld の全技術ツリー全体において計画の堅牢性と成功を向上させるか。
• RQ3 外部知識とメモリは、オープンワールド環境における計画効率と未見のタスクへの一般化にどのように影響するか。
• RQ4 フィードバックとメモリが、複雑なアイテム（例：diamonds）およびすべての Overworld アイテムの取得能力に与える影響は何か？
• RQ5 環境相互作用とGPU要件の観点で、LLM ベースのエージェントの学習効率は従来の RL エージェントとどう比較されるか？

主な発見

• 本研究の GITM エージェントは、 ObtainDiamond タスクで従来手法よりも成功率を +47.5% 増加させた。
• GITM は Minecraft Overworld テクノロジーツリーの全262アイテムを解放でき、より少ないアイテムしかカバーしないRLベースのエージェントを上回る。
• この手法は環境との相互作用ステップを 10,000× 以上削減し、トレーニングには GPU を必要とせず、代わりに単一の CPU ノードを使用する。
• テキストベースのメモリを備えた階層的 LLM ベースの計画パイプライン（Decomposer、Planner、Interface）は、長期的なタスク解決とオープンワールドの不確実性への堅牢性を実現する。
• アブレーション実験は、目標分解、外部知識、メモリ、フィードバックのそれぞれがより高い成功率に寄与し、併用で最良の結果を生むことを示す。
• VPT および DreamerV3 と比較して、GITM は ObtainDiamond を超えた Minecraft のタスク全般にわたるより強力なスケーラビリティと堅牢性を提供する。