[论文解读] Ghost in the Minecraft: Generally Capable Agents for Open-World Environments via Large Language Models with Text-based Knowledge and Memory

Xizhou Zhu, Yuntao Chen+11 more|arXiv (Cornell University)|May 25, 2023

Topic Modeling参考文献 27被引用 24

一句话总结

论文介绍 GITM，一个框架，使用带文本知识和记忆的 LLM 来在 Minecraft 构建通用能力代理（Generally Capable Agents），通过将层级目标分解为结构化行动和键盘/鼠标控制，显著优于基于 RL 的方法。

ABSTRACT

The captivating realm of Minecraft has attracted substantial research interest in recent years, serving as a rich platform for developing intelligent agents capable of functioning in open-world environments. However, the current research landscape predominantly focuses on specific objectives, such as the popular "ObtainDiamond" task, and has not yet shown effective generalization to a broader spectrum of tasks. Furthermore, the current leading success rate for the "ObtainDiamond" task stands at around 20%, highlighting the limitations of Reinforcement Learning (RL) based controllers used in existing methods. To tackle these challenges, we introduce Ghost in the Minecraft (GITM), a novel framework integrates Large Language Models (LLMs) with text-based knowledge and memory, aiming to create Generally Capable Agents (GCAs) in Minecraft. These agents, equipped with the logic and common sense capabilities of LLMs, can skillfully navigate complex, sparse-reward environments with text-based interactions. We develop a set of structured actions and leverage LLMs to generate action plans for the agents to execute. The resulting LLM-based agent markedly surpasses previous methods, achieving a remarkable improvement of +47.5% in success rate on the "ObtainDiamond" task, demonstrating superior robustness compared to traditional RL-based controllers. Notably, our agent is the first to procure all items in the Minecraft Overworld technology tree, demonstrating its extensive capabilities. GITM does not need any GPU for training, but a single CPU node with 32 CPU cores is enough. This research shows the potential of LLMs in developing capable agents for handling long-horizon, complex tasks and adapting to uncertainties in open-world environments. See the project website at https://github.com/OpenGVLab/GITM.

研究动机与目标

• 在开放世界环境中，除了像 ObtainDiamond 这样的单任务 RL 基准之外，激发对通用能力代理（GCAs）的需求。
• 提出一个分层的基于 LLM 的框架，将长时程目标分解为子目标和结构化行动。
• 展示基于文本的知识与记忆如何在 Minecraft 中实现高效规划与执行，而无需 GPU 训练。

提出的方法

• 引入 LLM Decomposer，利用基于文本的知识递归将目标分解为子目标树。
• 开发 LLM Planner，以生成结构化行动序列并维护成功计划的文本记忆。
• 实现 LLM Interface，通过手写脚本将结构化行动执行为键盘/鼠标操作。
• 利用来自 Minecraft Wiki 和合成配方的文本型外部知识库来指导规划。
• 利用环境反馈在闭环 LLM 规划过程中修订计划。
• 将行动抽象为具有明确定义语义的形式（如 equip、explore、mine、craft），以使 LLMs 能进行认知规划。

实验结果

研究问题

• RQ1 具备文本知识与记忆的基于 LLM 的代理是否能比 RL 控制器更好地解决长时程的 Minecraft 任务？
• RQ2 将目标分解为子目标和结构化行动的分层方法是否能提高跨整个 Minecraft Overworld 技术树的规划鲁棒性与成功率？
• RQ3 外部知识与记忆如何影响开放世界环境中的规划效率和对未知任务的泛化？
• RQ4 反馈和记忆对获取复杂物品（如钻石）以及所有 Overworld 物品的能力有何影响？
• RQ5 在环境交互和 GPU 需求方面，基于 LLM 的代理的学习效率与传统 RL 代理相比如何？

主要发现

• 我们的 GITM 代理在 ObtainDiamond 任务上的成功率比前一方法提升了 +47.5% 。
• GITM 能解锁 Minecraft Overworld 技术树中的全部 262 项物品，优于覆盖项数明显较少的基于 RL 的代理。
• 该方法将环境交互步骤减少超过 10,000×，训练不需要 GPU，而使用单个 CPU 节点。
• 一个带文本记忆的分层 LLM 规划管线（Decomposer、Planner、Interface）使长时程任务求解成为可能，并对开放世界的不确定性具有鲁棒性。
• 消融实验表明，目标分解、外部知识、记忆和反馈各自都有助于提高成功率，组合使用时得到最佳结果。
• 与 VPT 和 DreamerV3 相比，GITM 在超出 ObtainDiamond 的广泛 Minecraft 任务上提供更强的可扩展性和鲁棒性。