[논문 리뷰] MineRL Diamond 2021 Competition: Overview, Results, and Lessons Learned

Anssi Kanervisto, Stephanie Milani외 20명|arXiv (Cornell University)|2022. 02. 17.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 샘플 효율적이고 일반화 가능한 강화학습을 중점으로 삼는 연구 트랙을 유지하면서도 입문자 참여를 촉진하기 위해 '입문 트랙'을 도입한 MineRL Diamond 2021 경쟁대회를 제시한다. 이 경쟁대회에서는 참가자가 증가하고 성능이 향상되었으며, 최상위 에이전트들은 계산 자원과 샘플 수 제약 조건 하에서 계층적 및 이민 학습 기법을 활용하여 이전 결과를 크게 뛰어넘었다.

ABSTRACT

Reinforcement learning competitions advance the field by providing appropriate scope and support to develop solutions toward a specific problem. To promote the development of more broadly applicable methods, organizers need to enforce the use of general techniques, the use of sample-efficient methods, and the reproducibility of the results. While beneficial for the research community, these restrictions come at a cost -- increased difficulty. If the barrier for entry is too high, many potential participants are demoralized. With this in mind, we hosted the third edition of the MineRL ObtainDiamond competition, MineRL Diamond 2021, with a separate track in which we permitted any solution to promote the participation of newcomers. With this track and more extensive tutorials and support, we saw an increased number of submissions. The participants of this easier track were able to obtain a diamond, and the participants of the harder track progressed the generalizable solutions in the same task.

연구 동기 및 목표

• 복잡하고 장기적인 환경에서 샘플 효율적이고 일반화 가능한 딥 강화학습(DRL) 및 이민 학습 방법의 개발을 촉진하기 위해.
• 하드코딩, 학습 시간, 알고리즘 접근 방식에 대한 제한 없이 참가를 장려하기 위해 '입문 트랙'을 도입하여 초보자 참여 장벽을 낮추기 위해.
• 환경 상호작용 수(800만 단계)와 평가 서버에서의 재학습을 엄격히 적용하여 재현 가능성과 공정성을 향상시키기 위해.
• 교육 자료, Colab 노트북, 온라인 오피스 아워즈, 워크숍 등을 통해 커뮤니티 참여를 강화하기 위해.
• MineRL 챌린지의 3년간 성과를 비교하여 DRL 분야의 진전을 벤치마킹하고, 일반화 능력과 효율성에 중점을 두기 위해.

제안 방법

• 연구 트랙(엄격한 제약 조건: 샘플 효율성, 하드코딩 금지)과 제한 없이 참여 가능한 입문 트랙을 병행하는 이중 트랙 형식의 경쟁대회를 구현하였다.
• 학습을 800만 단계의 환경 상호작용(약 450개의 전체 에피소드에 해당)으로 제한하고, 재현 가능성을 확보하기 위해 평가 서버에서의 재학습을 의무화하였다.
• 64×64 픽셀 관측값과 인벤토리 상태를 갖춘 MineRL 환경을 사용하였으며, 다이아몬드 확보를 위한 제작 계층 내 각 항목에 대해 희박한 밀도의 보상을 제공하였다.
• 희박한 보상과 장기적인 결정 과제를 해결하기 위해 연구 트랙에서 계층적 및 이민 학습 기법을 장려하였다.
• 참가자들이 에이전트를 훈련시키는 데 도움을 주기 위해 튜토리얼, Colab 노트북, 라이브 오피스 아워즈를 통해 커뮤니티 지원을 제공하였다.
• 고정된 난수 시드와 에피소드 제한(18,000단계)을 갖춘 표준화된 서버에서 에이전트를 평가하여 모든 제출물 간의 공정한 비교를 보장하였다.

실험 결과

연구 질문

• RQ1 제한 없이 참여 가능한 '입문 트랙'을 도입함으로써 DRL 경쟁대회에서의 참가자 수와 성능에 어떤 영향을 미치는가?
• RQ2 샘플 효율적이고 일반화 가능한 DRL 에이전트는 Minecraft에서 다이아몬드 확보라는 장기적인 환경, 희박한 보상 과제를 얼마나 잘 해결할 수 있는가?
• RQ3 계층적 및 이민 학습 기법은 연구 트랙에서 샘플 효율성과 성능 향상에 어떤 역할을 하는가?
• RQ4 계산 자원과 초모수 민감도는 복잡한 환경에서 DRL 에이전트의 재현 가능성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 접근성과 기술적 엄격함을 균형 있게 유지하는 경쟁 형식은 에이전트 성능 향상과 커뮤니티 참여도에 측정 가능한 영향을 미칠 수 있는가?

주요 결과

• '입문 트랙'의 도입으로 제출 수와 활동 참여자가 크게 증가하였으며, 이는 참여 장벽을 낮추면 커뮤니티 참여가 증가한다는 것을 입증한다.
• 연구 트랙의 최상위 성능 에이전트들은 10% 미만의 에피소드에서 다이아몬드를 확보하여 이전 최고 성능 결과를 크게 뛰어넘었다.
• 연구 트랙의 에이전트들은 나무 도끼 제작에 대한 희박한 보상으로 어려움을 겪었으며, 계층적 학습을 적용함에도 불구하고 샘플 효율성의 핵심 장애물임을 보여주었다.
• 입문 트랙의 에이전트들은 제작된 동작과 더 긴 학습 시간을 통해 성공을 거두었으며, 하드코딩이 允許된 상황에서 샘플 효율성과 성능 간의 상충 관계를 드러냈다.
• 경쟁대회의 엄격한 계산 자원과 평가 제약 조건은 더 재현 가능하고 일반화 가능한 결과를 이끌어내어, 이동 가능한 DRL 방법의 발전을 지원하였다.
• 결과는 초모수 조정과 환경 설계의 중요성을 강조하였으며, 관측값이나 보상 형태의 미세한 변화가 학습에 상당한 영향을 미칠 수 있음을 보여주었다.