[논문 리뷰] Safer Deep RL with Shallow MCTS: A Case Study in Pommerman

Bilal Kartal, Pablo Hernández-Leal외 2명|arXiv (Cornell University)|2019. 04. 10.

Reinforcement Learning in Robotics참고 문헌 51인용 수 5

한 줄 요약

이 논문은 도전적인 Pommerman 다중 에이전트 환경에서 샘플 효율성과 안전성을 향상시키기 위해 얕은 몬테카를로 트리 탐색(MCTS)을 비전문가 시범자로 통합하여 비동기 분산 딥 강화학습(A3C)에 통합한다. 경량 MCTS를 사용해 탐색을 안내하고 학습 중 치명적인 자살 행동을 줄임으로써, 표준 DRL보다 빠른 수렴과 뛰어난 정책을 달성한다. 이는 조그만 계획기조차도 희박하고 지연된 보상 환경에서 안전한 학습을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

Safe reinforcement learning has many variants and it is still an open research problem. Here, we focus on how to use action guidance by means of a non-expert demonstrator to avoid catastrophic events in a domain with sparse, delayed, and deceptive rewards: the recently-proposed multi-agent benchmark of Pommerman. This domain is very challenging for reinforcement learning (RL) --- past work has shown that model-free RL algorithms fail to achieve significant learning. In this paper, we shed light into the reasons behind this failure by exemplifying and analyzing the high rate of catastrophic events (i.e., suicides) that happen under random exploration in this domain. While model-free random exploration is typically futile, we propose a new framework where even a non-expert simulated demonstrator, e.g., planning algorithms such as Monte Carlo tree search with small number of rollouts, can be integrated to asynchronous distributed deep reinforcement learning methods. Compared to vanilla deep RL algorithms, our proposed methods both learn faster and converge to better policies on a two-player mini version of the Pommerman game.

연구 동기 및 목표

• 모델-자유 딥 강화학습에서 탐색 과정에서 발생하는 치명적인 실패, 특히 자살(자기 자신을 해치는 행동)을 해결하기 위한 도전에 대응한다.
• 비전문가이자 얕은 MCTS 계획기가 어려운 탐색과 희박한 보상 영역에서 딥 RL 에이전트의 행동 가이드로 효과적으로 기능할 수 있는지 조사한다.
• A3C를 비동기적으로 통합하고 MCTS 기반 시범자로부터 보조적 암기 학습을 통해 샘플 효율성과 학습 속도를 향상시켜 딥 RL의 성능을 개선한다.
• 낮은 품질의 계획기조차도 복잡한 다중 에이전트 환경에서 자살 행동의 수를 크게 줄이고 정책 수렴 속도를 높일 수 있음을 입증한다.

제안 방법

• 기본 딥 강화학습 알고리즘으로 비동기적 이점 액터-크리틱(A3C)을 사용하며, 일부 워커를 MCTS 기반 계획기로 대체하여 행동 가이드를 제공한다.
• 모델-자유 워커가 MCTS 시범자로부터의 행동을 모방하도록 유도하는 보조적 암기 학습 손실을 도입하여 탐색의 안전성을 향상시킨다.
• 고비용의 계산을 피하기 위해 적은 수의 롤아웃(예: 10~50)을 사용하는 경량 MCTS를 활용해 비전문가 시범자를 생성한다.
• 경험 재현 없이 온-폴리시 학습 설정을 유지하여 MCTS가 생성한 행동이 각 업데이트에서 한 번만 사용되도록 하여 학습 일관성을 유지한다.
• 에이전트 위치, 폭탄, 불꽃, 벽, 보너스 아이템, 그리고 폭탄 반경과 발차기 능력과 같은 에이전트 고유 속성을 포함하는 28개의 특징 맵을 사용해 환경 상태를 표현한다.
• 4개의 컨볼루션 레이어(32개 필터, 3×3, 스트라이드 1, 패딩 1), 128개 유닛의 밀집 레이어, 액터(행동 확률)와 크리틱(가치 추정)을 위한 이중 헤드를 가진 공유 딥 신경망을 사용한다.

실험 결과

연구 질문

• RQ1 제한된 롤아웃 수를 가진 얕은 MCTS 계획기조차도 Pommerman 환경에서 탐색 과정에서 치명적인 자살 행동의 비율을 크게 줄일 수 있는가?
• RQ2 암기 학습을 통해 비전문가 시범자를 통합함으로써, 희박하고 속임수적인 보상 환경에서 모델-자유 딥 강화학습의 샘플 효율성과 수렴 속도가 향상되는가?
• RQ3 MCTS 시범자의 수와 품질은 딥 RL 에이전트의 학습 성능과 정책 품질에 어떤 영향을 미치는가?
• RQ4 경험 재현에 의존하지 않고도, 보조적 암기 학습을 통해 온-폴리시 A3C 학습을 경량 계획기로부터 효과적으로 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 학습 과정에서 자살 행동의 수를 크게 줄여, Pommerman에서 표준 DRL의 주요 실패 원인을 직접 해결한다.
• 얕은 MCTS를 시범자로 통합함으로써, 최소한의 하이퍼파라미터 튜닝으로도 표준 A3C보다 더 빠른 학습과 더 높은 최종 누적 보상을 달성한다.
• 조금만 된 수의 MCTS 롤아웃(예: 10~50)을 사용해도 정책 성능 향상이 가능함을 보여주며, 효과적인 가이드를 위해서는 고급 계획이 반드시 필요하지 않음을 입증한다.
• 다양한 상대방에 대해 더 나은 일반화 성능을 보이며, 다중 에이전트 상호작용에서 더 높은 강건성과 안전성을 확보함을 시사한다.
• MCTS 행동을 사용한 보조적 암기 손실은 특히 Adam 옵timizer의 작은 epsilon 값 사용 시 더 안정적인 학습 곡선과 치명적인 기억 상실을 줄이는 데 기여한다.