[논문 리뷰] Why Build an Assistant in Minecraft?

Arthur Szlam, Jonathan Gray외 12명|arXiv (Cornell University)|2019. 07. 22.

Reinforcement Learning in Robotics참고 문헌 95인용 수 9

한 줄 요약

이 논문은 자연어 이해 및 상호작용 학습 분야의 발전을 위해 Minecraft 환경 내에서 오픈소스이자 상호작용형 AI 어시스턴트를 구축하는 것을 제안한다. Minecraft의 구조적이고 규칙 기반의 세계와 풍부한 인간-인-더-루프 대화 상호작용을 활용하여, 자연어 지시 및 다단계 대화로부터 샘플 효율적이고 종신학습 가능한 학습이 가능하도록 하는 프레임워크를 제공한다. 이는 상호작용형 AI 에이전트를 연구하기 위한 실용적이면서도 현실적인 시험대를 제공한다.

ABSTRACT

In this document we describe a rationale for a research program aimed at building an open "assistant" in the game Minecraft, in order to make progress on the problems of natural language understanding and learning from dialogue.

연구 동기 및 목표

• 복잡한 실제 세계 유사 환경에서 자연어 상호작용으로부터 학습하는 도전 과제를 해결하기 위해 Minecraft를 통제 가능하고 상호작용 가능한 플랫폼으로 활용한다.
• 구조적일 뿐만 아니라 다양한 작업 공간에서 AI 에이전트가 다단계 대화, 시연, 피드백으로부터 학습할 수 있는 방식을 연구한다.
• 시간이 지남에 따라 개인 사용자의 언어 패턴과 작업 분포에 적응함으로써 샘플 효율적이고 종신학습 가능한 학습을 가능하게 한다.
• 모듈식이고 자가 향상 가능한 AI 시스템을 지원하는 잘 정의된 인터페이스를 갖춘 개방형이고 확장 가능한 연구 플랫폼을 제공한다.
• 기존의 전용 가상 비서의 한계를 극복하기 위해 공개 가능하고 확장 가능한 시험대를 제공함으로써 상호작용형 에이전트 연구를 지원한다.

제안 방법

• Minecraft 환경 내에서 자연어 이해, 대화 관리 및 동작 실행을 통합하는 모듈식이고 상호작용 가능한 어시스턴트 시스템을 설계한다.
• 유한한 블록 유형과 제작 규칙을 갖춘 3D 바vox 기반 세계를 사용하여 학습에 유리한 규칙적이고 예측 가능한 작업 공간을 조성한다.
• 플레이어가 텍스트 채팅을 통해 자연어 지시와 피드백을 제공하는 인간-인-더-루프 설정을 구현한다.
• 플레이어와 AI 에이전트를 연결하고 상호작용 기록을 저장하며, 훈련 및 평가를 위한 데이터 수집을 지원하는 프레임워크(CraftAssist)를 개발한다.
• 프로그램 합성과 의미 해석 기법을 활용하여 자연어 지시를 Minecraft 내에서 실행 가능한 동작 또는 계획으로 변환한다.
• 개별 사용자와의 반복적 상호작용을 통해 이해력과 행동을 적응시킴으로써 종신학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 AI 에이전트는 Minecraft와 같은 복잡하고 개방형 환경에서 다양한 자연어 지시를 이해하고 실행할 수 있는가?
• RQ2 대화 기반 상호작용은 상호작용 학습에서 샘플 효율성과 작업 일반화에 얼마나 기여하는가?
• RQ3 사용자 선호도와 상호작용 이력에 기반해 어시스턴트는 시간이 지남에 따라 행동과 언어 이해를 어떻게 적응시킬 수 있는가?
• RQ4 Minecraft의 인지적 규칙성과 환경 제약 조건은 더 효율적이고 강건한 언어 기반 이해를 어떻게 지원하는가?
• RQ5 모듈식이고 자가 향상 가능한 AI 시스템은 공개 가능하고 상호작용 가능한 시뮬레이션 플랫폼에서 효과적으로 훈련되고 평가될 수 있는가?

주요 결과

• Minecraft 환경은 기반 자연어 이해와 상호작용 학습을 연구하기 위한 풍부하고 구조적이며 상호작용 가능한 플랫폼을 제공한다.
• Minecraft의 작업 공간은 유한한 블록 유형, 물리 법칙, 일반적인 제작 패턴으로 제한되어 있어, 개방형 실세계 설정보다 더 실현 가능한 학습 환경을 제공한다.
• 텍스트 채팅을 통한 인간-인-더-루프 상호작용은 상호작용형 에이전트 훈련을 위한 다양하고 자연스러운 지시 및 피드백의 스케일러블한 소스를 제공한다.
• 프레임워크는 종신학습을 지원하여 사용자 개개인의 언어와 작업 선호도에 따라 시간이 지남에 따라 이해력과 행동을 적응시킬 수 있다.
• CraftAssist(https://github.com/facebookresearch/craftassist)의 오픈소스 배포는 제어 가능하면서도 현실적인 환경에서 상호작용형 AI 에이전트의 훈련, 평가, 배포를 위한 재사용 가능한 인프라를 제공한다.
• 이 접근법은 정적 데이터셋을 넘어서 다단계 상호작용 학습을 위한 시험대로서 프로그램 합성과 의미 해석 연구를 가능하게 한다.