[논문 리뷰] Deep Reinforcement Learning with Model Learning and Monte Carlo Tree Search in Minecraft

Stephan Alaniz|arXiv (Cornell University)|2018. 03. 22.

Reinforcement Learning in Robotics참고 문헌 9인용 수 16

한 줄 요약

이 논문은 Minecraft에서 블록 놓기 작업을 해결하기 위해 딥 네ural 네트워크(DNN) 기반 전이 모델과 몬테 카를로 트리 탐색(MCTS)을 결합한 모델 기반 강화학습 접근법을 제안한다. 모델은 네 개의 연속 프레임과 액션으로부터 다음 프레임 관측값과 즉각적인 보상을 예측하여 MCTS를 통한 샘플 효율적인 계획을 가능하게 하며, DQN과 유사한 성능을 달성하지만 훨씬 더 빠른 학습 속도와 낮은 데이터 요구량을 보인다.

ABSTRACT

Deep reinforcement learning has been successfully applied to several visual-input tasks using model-free methods. In this paper, we propose a model-based approach that combines learning a DNN-based transition model with Monte Carlo tree search to solve a block-placing task in Minecraft. Our learned transition model predicts the next frame and the rewards one step ahead given the last four frames of the agent's first-person-view image and the current action. Then a Monte Carlo tree search algorithm uses this model to plan the best sequence of actions for the agent to perform. On the proposed task in Minecraft, our model-based approach reaches the performance comparable to the Deep Q-Network's, but learns faster and, thus, is more training sample efficient.

연구 동기 및 목표

• Minecraft와 같은 부분 관측 시각 환경에서 모델 기반 계획이 모델 자유 DQN과 유사한 성능을 달성할 수 있는지 조사하기 위해.
• 모델 학습과 몬테 카를로 트리 탐색(MCTS)을 결합하여 블록 놓기 작업에서 샘플 효율성을 향상시키기 위해.
• 1단계 앞선 보상 예측이 구조화된 시각 환경에서 MCTS 성능에 미치는 영향을 평가하기 위해.
• 학습 속도, 데이터 효율성, 최종 성능 측면에서 모델 기반 계획과 모델 자유 Q-학습 간의 상호 상충 관계를 분석하기 위해.
• 프레임 기반 모델의 단기 기억 한계로 인한 제약 사항을 규명하고, 향후 순환 신경망의 활용을 제안하기 위해.

제안 방법

• 딥 컨volution 신경망이 마지막 네 개의 프레임과 현재 액션으로부터 다음 관측값(64×64 Grayscale 프레임)과 즉각적인 보상을 예측하도록 훈련된다.
• 전이 모델이 몬테 카를로 트리 탐색(MCTS) 알고리즘에 통합되어 미래 궤적을 시뮬레이션함으로써 최적의 액션 시퀀스를 계획한다.
• UCT(트리용 상한 신뢰도)는 트리 정책으로 사용되며, UCB1 기반 탐색 전략을 사용하며, 탐색과 이용의 균형을 맞추기 위해 k값을 8로 조정한다.
• MCTS 에이전트는 미래 보상에 할인 인자를 0.95로 설정하였으며, 이는 보상 예측의 분산을 줄이기 위해 경험적으로 선택되었다.
• 모델은 Malmo 프레임워크를 통해 Minecraft 환경에서 수집된 트레이젝터리 데이터를 엔드 투 엔드로 훈련한다.
• 비교를 위해 동일한 입력(네 개의 프레임)을 사용하는 표준 DQN 에이전트를 원래 DQN 아키텍처와 하이퍼파라미터를 사용하여 훈련한다.

실험 결과

연구 질문

• RQ1 학습된 모델 기반 에이전트가 MCTS를 활용해 Minecraft와 같은 시각적으로 복잡하고 부분 관측 가능한 환경에서 DQN 에이전트와 유사한 성능을 달성할 수 있는가?
• RQ2 1단계 앞선 보상 예측이 블록 놓기 작업에서 MCTS 에이전트의 성능에 어떤 영향을 미치는가?
• RQ3 이 작업에서 모델 기반 접근법이 모델 자유 DQN보다 얼마나 더 데이터 효율적인가?
• RQ4 모델 기반 접근법의 주요 실패 원인은 무엇이며, 특히 장기적 롤아웃에서 오차 누적이 발생하는가?
• RQ5 제한된 컨텍스트(최근 네 개의 프레임)를 가진 프레임 기반 모델이 효과적으로 계획을 지원할 수 있는가, 아니면 순환 모델링이 필수적인가?

주요 결과

• MCTS 에이전트는 500만 번의 훈련 단계 후 72%의 성공률을 기록하였으며, DQN 에이전트의 74% 성공률과 유사하여 경쟁 가능한 성능을 입증하였다.
• MCTS 에이전트는 100만 번의 단계 후 64%의 성공률을 달성하였고, DQN 에이전트는 같은 시점에서 12%의 성공률 뿐이었으며, 이는 샘플 효율성이 뛰어남을 보여준다.
• 1단계 앞선 보상 예측을 포함한 MCTS 에이전트는 250만 번의 단계 후 70%의 성공률을 기록한 반면, 이를 포함하지 않은 경우는 단지 30%에 머물렀으며, 즉각적인 보상 감독의 핵심적 역할을 입증하였다.
• 모델 기반 접근법은 DQN의 성능을 따라잡기 위해 DQN보다 150만 번의 훈련 단계를 적게 요구하였으며, 이는 높은 데이터 효율성을 강력히 시사한다.
• DQN 에이전트는 첫 170만 번의 단계 동안 Q-값 과대평가 문제가 심각했으며, 학습률 조정에도 불구하고 지속되었다.
• 모델 기반 에이전트의 성능은 짧은 컨텍스트 창(최근 네 개의 프레임)으로 인해 과거 정보가 더 이상 보이지 않을 경우 잘못된 예측을 유도하는 데 제한을 받았다.