[논문 리뷰] JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language Models

Zihao Wang, Shaofei Cai외 10명|arXiv (Cornell University)|2023. 11. 10.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

JARVIS-1은 시각적 및 텍스처 입력을 사용하여 오픈월드 마인크래프트 환경에서 강력하고 장기적인 계획 수립 및 제어를 가능하게 하는 메모리 보강형 다중모달 언어모델 기반 에이전트이다. 과거 성공적인 계획과 경험을 저장하는 다중모달 메모리를 통합함으로써 장기적인 '다이아몬드 플러그를 확보하라' 작업에서 기존 최고 성능 에이전트의 다섯 배인 12.5%의 성공률을 기록하며, 추가 학습 없이도 자율적으로 향상되는 생애주기 학습 능력을 입증한다.

ABSTRACT

Achieving human-like planning and control with multimodal observations in an open world is a key milestone for more functional generalist agents. Existing approaches can handle certain long-horizon tasks in an open world. However, they still struggle when the number of open-world tasks could potentially be infinite and lack the capability to progressively enhance task completion as game time progresses. We introduce JARVIS-1, an open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, all within the popular yet challenging open-world Minecraft universe. Specifically, we develop JARVIS-1 on top of pre-trained multimodal language models, which map visual observations and textual instructions to plans. The plans will be ultimately dispatched to the goal-conditioned controllers. We outfit JARVIS-1 with a multimodal memory, which facilitates planning using both pre-trained knowledge and its actual game survival experiences. JARVIS-1 is the existing most general agent in Minecraft, capable of completing over 200 different tasks using control and observation space similar to humans. These tasks range from short-horizon tasks, e.g., "chopping trees" to long-horizon tasks, e.g., "obtaining a diamond pickaxe". JARVIS-1 performs exceptionally well in short-horizon tasks, achieving nearly perfect performance. In the classic long-term task of $ exttt{ObtainDiamondPickaxe}$, JARVIS-1 surpasses the reliability of current state-of-the-art agents by 5 times and can successfully complete longer-horizon and more challenging tasks. The project page is available at https://craftjarvis.org/JARVIS-1

연구 동기 및 목표

• 사용자 정의 미세조정 없이도 마인크래프트와 같은 오픈월드 환경에서 다양한 장기적인 작업을 수행할 수 있는 일반화된 에이전트를 개발하는 것.
• 기존의 LLM 기반 에이전트가 다중모달 인식, 장기 계획 수립, 지속적 학습 측면에서 겪는 한계를 해결하는 것.
• 자율적 작업 제안과 경험 기반 메모리 검색을 통해 생애주기적, 자율적으로 향상되는 행동을 가능하게 하는 것.
• 다중모달 메모리 시스템을 통해 사전 훈련된 지식과 실시간 상호작용 경험을 융합하여 계획 수립의 강건성을 향상시키는 것.

제안 방법

• JARVIS-1은 시각-세미틱 이해를 위한 MineCLIP과 고수준 계획 수립을 위한 대규모 언어모델(LLM)을 조합한 하이브리드 아키텍처로 구성된다.
• 이 에이전트는 이미지와 자연어 지시어 등의 다중모달 입력을 융합된 다중모달 언어모델(MLM)을 통해 처리하여 작업에 특화된 행동 계획을 생성한다.
• 다중모달 메모리는 과거 성공적인 계획과 환경적 맥락을 저장하고 검색함으로써 사전 훈련된 지식과 실제 게임 플레이 경험에서의 인식을 통합한 문맥 기반 학습을 가능하게 한다.
• 에이전트는 목표 조건 기반 컨트롤러를 사용하여 계획을 실행하며, 고수준 계획을 마인크래프트 환경 내의 저수준 행동으로 변환한다.
• JARVIS-1은 자기지도 학습 메커니즘을 활용해 게임 플레이 중에 자율적으로 새로운 작업을 제안함으로써 지속적인 탐색과 경험 축적을 가능하게 한다.
• 시스템은 지도 데이터 없이도 경험 재생과 메모리 보강 추론을 통해 시간이 지남에 따라 성능을 향상시킨다.

Figure 1: How does JARVIS -1 unlock the technology tree of the Minecraft universe. JARVIS -1 can consistently obtain high-level items on the main tech-tree of the overworld in Minecraft, such as diamond, redstone, and golden items, which require collecting over 10 different intermediate items. JARVI

실험 결과

연구 질문

• RQ1 다중모달 언어모델 기반 에이전트는 오픈월드 마인크래프트 환경에서 200개 이상의 다양한 작업에 대해 강건하고 일반화된 계획 수립을 달성할 수 있는가?
• RQ2 다중모달 메모리를 통합할 경우, 표준 LLM 기반 에이전트에 비해 장기적인 계획 수립 성능은 어떻게 향상되는가?
• RQ3 생애주기 학습 환경에서 자율적 작업 제안과 경험 축적을 통해 에이전트는 어느 정도 자율적으로 향상될 수 있는가?
• RQ4 추가 학습 없이도 게임 플레이 시간이 길어질수록 에이전트의 성능은 향상되는가?

주요 결과

• JARVIS-1은 장기적인 '다이아몬드 플러그를 확보하라' 작업에서 12.5%의 성공률을 기록하며, 이는 이전 최고 성능 에이전트 VPT(2.5%)의 다섯 배에 달한다.
• 단기적인 작업에서는 거의 완벽한 성능을 보이며, 강력한 일반화 능력과 정확한 실행 능력을 입증한다.
• 장기적인 작업에서 성능은 추가 학습 없이도 게임 플레이 시간이 길어질수록 지속적으로 향상되며, 효과적인 경험 축적과 학습 능력을 보여준다.
• 다중모달 메모리는 특히 복잡하고 다단계로 이루어진 작업에서 계획의 일관성과 정확성을 크게 향상시킨다.
• 생애주기 학습 실험에서 JARVIS-1은 새로운 작업을 자율적으로 제안하고 경험을 수집하며, 자율적 탐색을 통해 계획 수립 능력을 향상시켰다.
• 에이전트는 오버월드에서 거의 모든 다이아몬드 등급 아이템을 제작할 수 있으며, 다이아몬드 흉갑까지 포함하여 전체 기술 트리의 숙련도를 입증했다.

Figure 2: Challenges in open-world environments and how does JARVIS -1 tackle them . (Left) With situation-aware planning, JARVIS -1 substantially improves the success rate on the challenging ObtainDiamond task, compared to the baseline (GPT) without it. Note: Due to resource constraints, we can onl