[논문 리뷰] Ghost in the Minecraft: Generally Capable Agents for Open-World Environments via Large Language Models with Text-based Knowledge and Memory

Xizhou Zhu, Yuntao Chen외 11명|arXiv (Cornell University)|2023. 05. 25.

Topic Modeling참고 문헌 27인용 수 24

한 줄 요약

본 논문은 GITM을 소개합니다. 이는 텍스트 기반 지식과 메모리를 가진 LLM을 활용해 Minecraft에서 일반적으로 능력이 있는 에이전트를 구축하는 프레임워크로, 구조화된 행동과 키보드/마우스 제어로 계층적 목표 분해를 통해 RL 기반 방법 대비 큰 이점을 얻습니다.

ABSTRACT

The captivating realm of Minecraft has attracted substantial research interest in recent years, serving as a rich platform for developing intelligent agents capable of functioning in open-world environments. However, the current research landscape predominantly focuses on specific objectives, such as the popular "ObtainDiamond" task, and has not yet shown effective generalization to a broader spectrum of tasks. Furthermore, the current leading success rate for the "ObtainDiamond" task stands at around 20%, highlighting the limitations of Reinforcement Learning (RL) based controllers used in existing methods. To tackle these challenges, we introduce Ghost in the Minecraft (GITM), a novel framework integrates Large Language Models (LLMs) with text-based knowledge and memory, aiming to create Generally Capable Agents (GCAs) in Minecraft. These agents, equipped with the logic and common sense capabilities of LLMs, can skillfully navigate complex, sparse-reward environments with text-based interactions. We develop a set of structured actions and leverage LLMs to generate action plans for the agents to execute. The resulting LLM-based agent markedly surpasses previous methods, achieving a remarkable improvement of +47.5% in success rate on the "ObtainDiamond" task, demonstrating superior robustness compared to traditional RL-based controllers. Notably, our agent is the first to procure all items in the Minecraft Overworld technology tree, demonstrating its extensive capabilities. GITM does not need any GPU for training, but a single CPU node with 32 CPU cores is enough. This research shows the potential of LLMs in developing capable agents for handling long-horizon, complex tasks and adapting to uncertainties in open-world environments. See the project website at https://github.com/OpenGVLab/GITM.

연구 동기 및 목표

• 오픈 월드 환경에서 ObtainDiamond와 같은 단일 작업 RL 벤치마크를 넘어 일반적으로 능력 있는 에이전트(GCAs)가 필요하다는 동기 부여.
• 장기적 목표를 하위 목표와 구조화된 행동으로 분해하는 계층적 LLM 기반 프레임워크를 제안합니다.
• 텍스트 기반 지식과 메모리가 Minecraft에서 GPU 훈련 없이도 효율적인 계획과 실행을 가능하게 함을 보입니다.

제안 방법

• 목표를 텍스트 기반 지식으로 재귀적으로 분해하는 LLM Decomposer를 도입합니다.
• 구조화된 행동의 시퀀스를 생성하고 성공적인 계획의 텍스트 기반 메모리를 유지하는 LLM Planner를 개발합니다.
• 핸드라이팅 스크립트를 통해 키보드/마우스 작업으로 구조화된 행동을 실행하는 LLM Interface를 구현합니다.
• 계획을 안내하기 위해 Minecraft Wiki의 외부 지식 기반과 제작법을 텍스트 기반으로 활용합니다.
• 환경으로부터의 피드백을 이용해 폐쇄 루프 LLM 계획 프로세스에서 계획을 수정합니다.
• 대표적인 의미를 가진 추상 행동들(예: equip, explore, mine, craft)을 도입해 LLM의 인지적 계획을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 텍스트 기반 지식과 메모리를 가진 LLM 기반 에이전트가 Minecraft의 장기 과제를 RL 기반 컨트롤러보다 더 잘 해결할 수 있나요?
• RQ2 하위 목표와 구조화된 행동으로의 계층적 분해가 Minecraft Overworld 기술 트리 전체에서 계획의 견고성 및 성공에 기여하나요?
• RQ3 외부 지식과 메모리가 계획의 효율성과 미제시 과제에 대한 일반화에 어떤 영향을 미치나요? 열린 세계 환경에서?
• RQ4 피드백과 메모리가 복잡한 아이템(예: diamonds) 및 모든 Overworld 아이템 획득 능력에 미치는 영향은 무엇인가요?
• RQ5 환경 상호작용 및 GPU 요구사항 측면에서 LLM 기반 에이전트의 학습 효율성이 전통적 RL 에이전트와 비교해 어떠한가요?

주요 결과

• 우리의 GITM 에이전트는 ObtainDiamond 과제에서 이전 방법 대비 성공률이 +47.5% 증가했습니다.
• GITM은 Minecraft Overworld 기술 트리의 모든 262개 아이템을 잠금 해제할 수 있으며, RL 기반 에이전트가 커버하는 아이템 수보다 훨씬 많습니다.
• 환경 상호작용 단계가 10,000배 이상 감소하고, 훈련에 GPU가 필요 없으며 단일 CPU 노드를 사용합니다.
• 텍스트 기반 메모리를 갖춘 계층적 LLM 기반 계획 파이프라인(Decomposer, Planner, Interface)은 장기 과제 해결 및 오픈 월드의 불확실성에 대한 견고성을 제공합니다.
• 목표 분해, 외부 지식, 메모리 및 피드백이 각각 성공률 향상에 기여하며, 총체적으로 사용할 때 가장 좋은 성과를 보입니다.
• VPT 및 DreamerV3와 비교하여 GITM은 ObtainDiamond를 넘어서는 광범위한 Minecraft 과제에서 더 강한 확장성 및 견고성을 제공합니다.