[논문 리뷰] Using Monte Carlo Tree Search as a Demonstrator within Asynchronous Deep RL

Bilal Kartal, Pablo Hernández-Leal외 1명|arXiv (Cornell University)|2018. 11. 30.

Reinforcement Learning in Robotics참고 문헌 40인용 수 7

한 줄 요약

이 논문은 딥 강화 학습에서 샘플 효율성과 정책 품질을 향상시키기 위해 새로운 종료 예측 보조 과제를 도입한 개선된 이방향 이점 액터-크리틱(A3C) 방법인 A3C-TP를 제안한다. 또한 A3C 내부에서 몬테카를로 트리 탐색(MCTS)을 시뮬레이션된 지도자로 통합하는 프레임워크를 추가로 제안하여 더 빠른 학습과 더 안전한 탐색을 가능하게 한다—이를 통해 두 명의 플레이어가 있는 미니-Pommerman 환경에서 자살 행동을 줄이고 성능을 향상시켰다.

ABSTRACT

Deep reinforcement learning (DRL) has achieved great successes in recent years with the help of novel methods and higher compute power. However, there are still several challenges to be addressed such as convergence to locally optimal policies and long training times. In this paper, firstly, we augment Asynchronous Advantage Actor-Critic (A3C) method with a novel self-supervised auxiliary task, i.e. \emph{Terminal Prediction}, measuring temporal closeness to terminal states, namely A3C-TP. Secondly, we propose a new framework where planning algorithms such as Monte Carlo tree search or other sources of (simulated) demonstrators can be integrated to asynchronous distributed DRL methods. Compared to vanilla A3C, our proposed methods both learn faster and converge to better policies on a two-player mini version of the Pommerman game.

연구 동기 및 목표

• Pommerman와 같이 자주 발생하는 위험한 행동(예: 폭탄으로 자살)이 있는 환경에서 보상이 희박하고 지연되는 문제를 해결한다.
• 보조 과제 도입과 계획 기반 지도자 통합을 통해 이방향 딥 RL의 샘플 효율성과 수렴 속도를 향상시킨다.
• MCTS 기반 계획을 정책 네트워크 훈련에서 분리하여 이방향, 온정책 학습을 가능하게 하면서도 성능 향상을 유지한다.
• 훈련 중 고위험 상태(예: 종료 상태에 가까운 상태)에서 MCTS를 실시간 지도자로 사용하여 더 빠르고 안전한 탐색을 가능하게 한다.

제안 방법

• A3C에 자기지도 보조 과제로 종료 상태에 가까운 시간적 거리를 예측하는 종료 예측을 도입하여 더 안전한 탐색을 유도한다.
• 주 A3C 훈련 파이프라인에서 MCTS 기반 계획가를 분리하여 전용 워커로 작동시키며, 정책 훈련을 위한 전문가 수준의 지도를 생성한다.
• MCTS가 생성한 동작을 온정책 훈련 루프에서 지도로 사용하여, 경험 재현 없이도 글로벌 정책 네트워크를 이방향으로 업데이트한다.
• 종료 예측 헤드를 통합하여 고위험 상태(예: 종료 상태에 가까운 경우)에서 MCTS 기반 지도자를 동적으로 활성화함으로써 즉각적인 간섭을 가능하게 한다.
• 모든 MCTS 기반 동작를 한 번만 사용하고 폐기하는 경험 재현이 없는 완전한 온정책 훈련 체계를 유지한다.
• 정책 및 가치 네트워크를 표준 이점 액터-크리틱 업데이트로 훈련시키며, 종료 예측 헤드는 종료 상태까지의 시간 거리에 대해 평균 제곱 오차를 통해 훈련한다.

실험 결과

연구 질문

• RQ1 종료 상태에 가까운 시간적 거리를 예측하는 자기지도 보조 과제가 딥 강화 학습에서 학습 속도와 정책 품질을 향상시킬 수 있는가?
• RQ2 공유된 신경망이 필요 없이, 몬테카를로 트리 탐색(MCTS)을 이방향 딥 RL 프레임워크(A3C) 내에서 효과적으로 시뮬레이션된 지도자로 사용할 수 있는가?
• RQ3 MCTS 기반 계획 통합이 보상 지연과 높은 탐색 위험이 있는 환경에서 샘플 효율성을 향상시키고 위험한 행동(예: 자살)을 줄일 수 있는가?
• RQ4 종료 예측 헤드가 고위험 상태에서 MCTS 지도자 사용을 유도하는 신뢰할 수 있는 신호로 기능할 수 있는가?
• RQ5 종료 예측 과제와 MCTS 지도자 프레임워크를 함께 사용할 경우, 기존 A3C와 A3C-TP에 비해 훈련 효율성과 최종 정책 성능 측면에서 어떤가?

주요 결과

• 종료 예측 보조 과제를 갖춘 A3C-TP는 두 명의 플레이어가 있는 미니-Pommerman 환경에서 기존 A3C에 비해 더 빠르게 학습하고 더 나은 정책로 수렴한다.
• MCTS를 지도자로 통합함으로써 훈련 중 자살 에피소드의 수가 크게 감소하여 더 안전한 탐색이 가능함을 확인했다.
• A3C-TP와 MCTS 지도자 프레임워크의 통합된 구조(IM-A3C-TP)가 가장 뛰어난 성능을 보였으며, A3C와 A3C-TP 자체보다 더 빠르게 학습했다.
• 종료 예측 헤드는 고위험 상태(예: 곧 자살이 발생할 가능성이 있는 상태)를 성공적으로 식별하여 MCTS 지도자 사용을 타겟팅함으로써 안전성을 향상시켰다.
• 경험 재현이나 공유 가중치가 필요 없이도 이방향, 온정책 설정에서 계획과 딥 강화 학습을 효과적으로 융합할 수 있었다.
• MCTS 기반 지도자들은 룰 기반 상대보다 우수했으며, 분산된 딥 강화 학습 시스템에서 확장 가능한 블랙박스 컴포넌트로 유망한 성능을 보였다.