[논문 리뷰] MineRL: A Large-Scale Dataset of Minecraft Demonstrations

William H. Guss, Brandon Houghton외 5명|arXiv (Cornell University)|2019. 07. 29.

Reinforcement Learning in Robotics참고 문헌 11인용 수 6

한 줄 요약

MineRL은 메인크래ft에서 인간의 시연를 기반으로 한 6000만 개 이상의 자동으로 주석 처리된 상태-행동 쌍을 포함한 대규모 시뮬레이터 연동 데이터셋을 제공하여 샘플 효율적인 강화학습을 가능하게 한다. 이 데이터셋은 계층적이고 다양한 작업을 지원하며, 실험 결과 이 데이터를 활용한 이민 학습 방법이 표준 DRL 기반 모델보다 뛰어난 성능을 보이며, 특히 보상이 희박한 환경에서 두각을 나타낸다.

ABSTRACT

The sample inefficiency of standard deep reinforcement learning methods precludes their application to many real-world problems. Methods which leverage human demonstrations require fewer samples but have been researched less. As demonstrated in the computer vision and natural language processing communities, large-scale datasets have the capacity to facilitate research by serving as an experimental and benchmarking platform for new methods. However, existing datasets compatible with reinforcement learning simulators do not have sufficient scale, structure, and quality to enable the further development and evaluation of methods focused on using human examples. Therefore, we introduce a comprehensive, large-scale, simulator-paired dataset of human demonstrations: MineRL. The dataset consists of over 60 million automatically annotated state-action pairs across a variety of related tasks in Minecraft, a dynamic, 3D, open-world environment. We present a novel data collection scheme which allows for the ongoing introduction of new tasks and the gathering of complete state information suitable for a variety of methods. We demonstrate the hierarchality, diversity, and scale of the MineRL dataset. Further, we show the difficulty of the Minecraft domain along with the potential of MineRL in developing techniques to solve key research challenges within it.

연구 동기 및 목표

• 복잡하고 실제 세계를 닮은 환경에서 딥 강화학습의 샘플 비효율성을 해결하기 위해 인간 시연의 대규모 데이터셋을 구축하기 위해.
• 모델 학습 및 평가를 가능하게 하기 위해 시뮬레이터(Malmo)와 호환되는 벤치마크 데이터셋을 제공하기 위해.
• 다양한 메인크래프트 작업을 통해 정교하게 주석 처리된 프로시저성 생성 시연를 제공함으로써 샘플 효율적인 학습 기법의 개발을 지원하기 위해.
• 미래의 작업 및 주석 확장을 위한 확장 가능한 플랫폼으로서 지속적인 인간 플레이 데이터 수집을 위한 기반을 마련하기 위해.
• 구조화되고 대규모인 데이터셋을 통해 역강화학습, 수명 주기 학습, 계층적 의사결정 등 연구를 촉진하기 위해.

제안 방법

• 저자들은 공개 메인크래프트 서버에서 플레이어의 패킷 수준 게임 데이터를 캡처하는 새로운 데이터 수집 플랫폼을 개발하여, 플레이어의 시야와 행동을 정확히 재구성할 수 있도록 했다.
• 모든 시연는 플레이어의 행동 시퀀스를 정교하게 분석함으로써 하위작업 완료, 플레이어 기량 수준 등 다른 메타데이터를 자동으로 주석 처리하였다.
• 데이터셋은 메인크래프트의 여섯 가지 별도의 작업—트리초프, 내비게이트(Sparse), 내비게이트(Dense) 등—기반으로 구성되며, 각각 제어, 탐색, 계획 등 다른 과제를 반영한다.
• 플랫폼은 새로운 작업과 주석의 동적 추가를 지원하여 향후 연구에 대한 확장성을 확보한다.
• 데이터셋은 http://minerl.io 에 호스팅되며, Malmo 강화학습 시뮬레이터와 호환되어 데이터 수집과 동일한 환경에서 직접 학습 및 평가가 가능하다.
• 저자들은 이 데이터셋을 활용해 행동 복제(BC) 및 사전 학습된 DQN(PreDQN)과 같은 이민 학습 방법의 성능을 표준 DQN 및 무작위 에이전트와 비교하여 평가하였다.

실험 결과

연구 질문

• RQ1 복잡하고 오픈 월드 환경인 메인크래프트와 같은 환경에서, 대규모 시뮬레이터 연동 인간 시연 데이터셋이 딥 강화학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 3D, 1인칭, 오픈 월드 환경인 메인크래프트에서 다양한 계층적 과제에 대해 이민 학습 방법이 얼마나 효과적인가?
• RQ3 보상이 희박한 환경, 예를 들어 내비게이트(Sparse)와 같은 환경에서 전문가 시연는 샘플 복잡도를 얼마나 줄일 수 있는가?
• RQ4 자동 생성된 주석(예: 하위작업 완료, 기량 수준 등)은 계층적 강화학습을 위한 인간 시연 데이터셋의 유용성을 높일 수 있는가?
• RQ5 기존 데이터셋과 비교해 MineRL의 규모와 다양성은 이민 및 계층적 RL 연구의 진전을 위해 얼마나 유리한가?

주요 결과

• 내비게이트(Dense) 과제에서 MineRL로 미세조정된 PreDQN은 100회 에피소드 동안 94.96 ± 13.42의 보상을 기록하여 표준 DQN(4.16 ± 0.82)과 A2C(-0.97 ± 3.23)보다 유의미하게 뛰어난 성능을 보였다.
• 보상이 희박한 내비게이트(Sparse) 과제에서 전문가 시연를 활용한 에이전트는 PreDQN을 통해 6.00 ± 4.65의 보상을 기록했고, 표준 DQN과 A2C는 0.00 ± 0.00의 보상을 기록했다.
• 행동 복제(BC)는 내비게이트(Sparse) 과제에서 4.23 ± 4.15의 보상을 기록하여, 고품질의 시연 데이터로 훈련된 경우 이민 학습이 보상이 희박한 환경에서도 성공할 수 있음을 보여주었다.
• 인간 전문가들은 내비게이트(Sparse) 과제에서 최대 가능한 보상 100.00 ± 0.00을 기록하여 벤치마크 과제의 품질과 난이도를 확인하였다.
• 데이터셋의 계층적 구조와 풍부한 주석은 특히 장기 계획 및 탐색 과제에서 더 나은 일반화와 샘플 효율성을 가능하게 하였다.
• MineRL은 도메인 복잡성 대비 스케일 측면에서 KITTI 및 Dex-Net과 같은 기존 데이터셋을 능가하며, 시뮬레이터와의 유일무이한 호환성 덕분에 직접적인 학습 및 평가가 가능하다.