[논문 리뷰] Retrospective Analysis of the 2019 MineRL Competition on Sample Efficient Reinforcement Learning

Stephanie Milani, Nicholay Topin외 6명|arXiv (Cornell University)|2020. 03. 10.

Reinforcement Learning in Robotics참고 문헌 35인용 수 8

한 줄 요약

이 논문은 복잡하고 계층적인 환경인 마인크래프트에서 인간의 시연를 활용해 샘플 효율적인 강화학습 알고리즘을 개발하도록 도전한 2019년 마인레일 경쟁에 대한 후기 분석을 제시한다. 이 경쟁은 접근성 있고 일반화 가능한 강화학습 방법을 촉진했으며, 최고의 솔루션들은 이민 학습과 계층적 강화학습을 활용하여 계산 자원과 샘플 제약 조건 속에서도 뛰어난 성능을 달성했다.

ABSTRACT

To facilitate research in the direction of sample efficient reinforcement learning, we held the MineRL Competition on Sample Efficient Reinforcement Learning Using Human Priors at the Thirty-third Conference on Neural Information Processing Systems (NeurIPS 2019). The primary goal of this competition was to promote the development of algorithms that use human demonstrations alongside reinforcement learning to reduce the number of samples needed to solve complex, hierarchical, and sparse environments. We describe the competition, outlining the primary challenge, the competition design, and the resources that we provided to the participants. We provide an overview of the top solutions, each of which use deep reinforcement learning and/or imitation learning. We also discuss the impact of our organizational decisions on the competition and future directions for improvement.

연구 동기 및 목표

• 환경 샘플 수와 계산 자원 요구량을 줄이기 위해 인간 시연을 활용하는 샘플 효율적인 강화학습 알고리즘 개발을 촉진하기 위해.
• 마인크래프트 게임 세계를 활용해 장기적 계획 수립과 희박한 보상과 같은 실제 제어 과제를 반영하는 벤치마크 환경을 만들기 위해.
• 표준화된 도구, 인간 시연 데이터, 계산 자원 제한이 있는 공정한 평가 프레임워크를 제공함으로써 고급 강화학습 연구의 접근성을 높이기 위해.
• 평가 방법, 규칙 명확성, 자원 제공과 같은 경쟁 설계 선택 사항이 참가자 성과와 참여도에 미치는 영향을 평가하기 위해.
• 최고 성능을 낸 솔루션들 사이에서 공통적으로 나타나는 고수준 알고리즘 패턴을 식별하고 향후 경쟁 버전의 개선에 기여하기 위해.

제안 방법

• 참가자들은 마르모 플랫폼 기반의 커스터마이즈된 견적 환경에서 작업을 수행했으며, 64x64 픽셀의 시각적 관측과 이산적 아이템 인벤토리 상태를 사용했다.
• 과제는 마인크래프트에서 다이아몬드를 확보하는 것이었으며, 장기적 계획 수립과 복잡한 기술 습득이 필요한 계층적이고 보상이 희박한 환경이었다.
• 두 라운드로 구성된 경쟁 형식을 사용했다: 라운드 1은 샘플 예산을 제공하여 광범위한 참가를 허용했고, 라운드 2는 최고의 팀들을 선발해 엄격한 계산 자원과 시간 제약 조건 하에서 재학습을 진행했다.
• 각 팀은 표준화된 도커 컨테이너에 에이전트를 제출하여 재현 가능성을 보장하고 공통 하드웨어 플랫폼 상에서 평가를 단순화했다.
• 참가자들에게 알고리즘 개발을 가속화하기 위해 대규모 인간 시연 트레이젝터리 데이터셋과 베이스라인 모델을 제공했다.
• 일반화성과 규칙 준수를 확보하기 위해 새로운 시각적 도메인 랜덤라이제이션 기법을 평가에 적용했으며, 동시에 액션 공간에 무작위 이항 매핑을 적용해 의미론적 과적합을 방지했다.

실험 결과

연구 질문

• RQ1 계층적이고 보상이 희박한 환경에서 깊이 강화학습의 샘플 복잡도를 줄이기 위해 이민 학습과 인간의 사전 지식은 얼마나 효과적인가?
• RQ2 평가 방법, 계산 자원 제한, 규칙 명확성과 같은 경쟁 설계 선택 사항은 제출된 솔루션의 다양성과 품질에 어떤 영향을 미치는가?
• RQ3 계층적 강화학습과 구조화된 액션 공간은 복잡한 환경에서 샘플 효율성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 표준화된 베이스라인과 공유되는 계산 자원은 다양한 연구 배경을 가진 참가자의 접근성과 성능에 어떤 영향을 미치는가?
• RQ5 엄격한 계산 자원 제약 조건 하에서 샘플 효율적인 강화학습에 성공하는 데 기여하는 주요 알고리즘 패턴과 아키텍처 선택은 무엇인가?

주요 결과

• 모든 팀이 다이아몬드를 확보하지 못했으며, 이는 과제가 여전히 매우 도전적이며 샘플 효율성이 여전히 중요한 열린 문제임을 시사한다.
• 최고의 솔루션들은 인간 시연과 계층적 강화학습을 일관되게 활용했으며, 많은 경우 이민 학습과 딥 강화학습을 결합해 샘플 효율성을 향상시켰다.
• 표준화된 도커 컨테이너와 공통 평가 시스템의 사용은 제출 처리를 크게 단순화했으며, 모든 제출물에 대한 재현 가능성을 보장했다.
• 참가자들은 액션 공간 설계에서 인덕티브 바이어스를 광범위하게 활용했으며, 이는 샘플 제약 조건 하에서 아키텍처 선택이 성능에 결정적인 역할을 한다는 것을 시사한다.
• 조직위원회가 제공한 Azure 크레딧 기반의 계산 예산은 팀당 1500달러로, 학습 및 검증에 충분했으며, 일부 팀은 경쟁 종료 후에도 계산 시간을 유지했다.
• 향후 경쟁에서 액션 공간에서 의미적 레이블을 제거하고 평가 시기에 랜덤 이항 매핑을 적용하여 일반화 능력을 향상시키고 과적합을 줄이기 위해 계획하고 있다.