[논문 리뷰] Playing Minecraft with Behavioural Cloning

Anssi Kanervisto, Janne Karttunen외 1명|arXiv (Cornell University)|2020. 05. 07.

Artificial Intelligence in Games참고 문헌 23인용 수 4

한 줄 요약

이 논문은 인간의 플레이 데모를 사용하여 마인크래프트에서 에이전트를 훈련시키기 위한 행동 복제(Behavioral Cloning) 방법을 제시하며, MineRL 2019 대회에서 5위를 기록했다. 비록 단순한 방법이지만, 성능은 훈련 정지 시점, 행동 분포의 클래스 불균형, 엔지니어링 선택에 크게 의존하며, 이는 강화학습과 마찬가지로 행동 복제 역시 주의 깊은 튜닝과 분산 보고가 필요함을 시사한다.

ABSTRACT

MineRL 2019 competition challenged participants to train sample-efficient agents to play Minecraft, by using a dataset of human gameplay and a limit number of steps the environment. We approached this task with behavioural cloning by predicting what actions human players would take, and reached fifth place in the final ranking. Despite being a simple algorithm, we observed the performance of such an approach can vary significantly, based on when the training is stopped. In this paper, we detail our submission to the competition, run further experiments to study how performance varied over training and study how different engineering decisions affected these results.

연구 동기 및 목표

• 강화학습의 불안정성에서 벗어나 단지 행동 복제를 사용하여 샘플 효율적이고 견고한 마인크래프트 에이전트를 개발하기 위해.
• 행동 복제가 단순한 방법임에도 불구하고 훈련 실행 간 성능 변동이 크게 발생하는 이유를 조사하기 위해.
• 데이터셋 샘플링 전략, 클래스 불균형, 데이터 증강이 에이전트 성능에 미치는 영향을 분석하기 위해.
• 조기 정지, 재생 메모리, 레이블 스무딩과 같은 엔지니어링 결정보가 행동 복제 성과를 향상시키는 데 어떤 역할을 하는지 평가하기 위해.
• 강화학습의 최선의 실천 방식과 유사하게 행동 복제 결과의 분산 보고를 촉구하기 위해.

제안 방법

• 에이전트는 마인크래프트 데이터셋에서 제공하는 인간 데모를 모방하여 관찰에서 행동을 예측하는 지도학습을 사용한다.
• 검증 성능에 기반해 특정 에포크에서 훈련을 정지시키며, 과적합과 분포 이탈을 방지하기 위해 조기 정지를 적용한다.
• 특히 드문 행동 예측을 향상시키기 위해 훈련 데이터에서 재샘플링하는 재생 메모리 버퍼를 사용하여 학습 안정성을 높인다.
• 불균형한 데이터셋에서 과도하게 표현된 행동에 대한 편향을 줄이기 위해 레이블 스무딩을 적용한다.
• 예를 들어 제작, 제작 테이블 배치와 같은 드문 행동에서 성능이 떨어질 경우를 대비해 하드코딩된 행동을 사용하여 최종 성능을 향상시킨다.
• 모델은 시각 기반 관찰 공간과 이산 행동 공간에서 훈련되며, 13개의 이산 행동과 2개의 연속 카메라 제어를 포함한다.

실험 결과

연구 질문

• RQ1 마인크래프트에서 행동 복제 에이전트의 성능은 다양한 훈련 에포크 동안 어떻게 변동하는가? 이러한 변동의 원인은 무엇인가?
• RQ2 인간 데모 데이터셋의 클래스 불균형은 드문 행동이지만 핵심적인 행동을 학습하는 데에 에이전트의 능력에 얼마나 큰 영향을 미치는가?
• RQ3 데이터 샘플링, 재생 메모리, 레이블 스무딩과 같은 엔지니어링 선택은 행동 복제 성능에 어떤 영향을 미치는가?
• RQ4 부족하게 표현된 행동에 대해 하드코딩된 행동을 적용하면 복잡한 환경에서 샘플 효율적인 타깃 학습을 크게 향상시킬 수 있는가?
• RQ5 행동 복제가 단순한 지도학습 방법임에도 불구하고 성능에 높은 변동성을 보이는 이유는 무엇인가?

주요 결과

• 에이전트는 MineRL 2019 대회에서 5위를 기록하여 행동 복제가 복잡한 시각 기반 환경에서 강화학습과 경쟁 가능한 성능을 낼 수 있음을 입증했다.
• 훈련 정지 시점에 따라 성능이 크게 달라졌으며, 최적의 정지 시점에서 평가 점수에 대해 상대적으로 30–92% 향상된 결과를 얻었다.
• 데이터셋에서 낮은 비중을 차지함에도 불구하고(예: 목재 도끼 제작은 0.01%), 모델이 이러한 행동을 50% 이상의 확률로 예측하는 것으로 나타나 일부 일반화 능력을 보였다.
• 필요한 상황에서도 제작 테이블 배치 행동은 99.52%의 확률로 '없음'으로 예측되어 핵심 행동을 수행하는 데에 심각한 실패를 보였다.
• 제작 및 배치 행동에 하드코딩된 행동을 추가함으로써 평가 성능이 30–92% 향상되었으며, 한 에이전트는 200판 중 3판에서 보상 291을 기록했다.
• 클래스 희귀도에 따라 손실 함수를 가중하거나 공통 행동을 과도하게 샘플링하지 않는 전략은 성능 향상에 기여하지 않았으며, 이는 더 정교한 샘플링 기법(예: SMOTE)이 필요할 수 있음을 시사한다.