[논문 리뷰] On Hard Exploration for Reinforcement Learning: a Case Study in Pommerman

Chao Gao, Bilal Kartal외 2명|arXiv (Cornell University)|2019. 07. 26.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 Pommerman을 사례로 다중 에이전트 강화 학습에서의 어려운 탐색 문제를 다루며, 자살 폭탄 배치를 방지하는 모델 기반 행동 자르기 모듈을 제안한다. 이는 희박하고 지연되며 속임수적인 보상을 가진 환경에서 샘플 효율적인 학습을 가능하게 한다. 이 방법은 모델 자유형 강화 학습이 완전히 실패하는 상황에서도 PPO 에이전트가 강력한 성능을 내도록 한다.

ABSTRACT

How to best explore in domains with sparse, delayed, and deceptive rewards is an important open problem for reinforcement learning (RL). This paper considers one such domain, the recently-proposed multi-agent benchmark of Pommerman. This domain is very challenging for RL --- past work has shown that model-free RL algorithms fail to achieve significant learning without artificially reducing the environment's complexity. In this paper, we illuminate reasons behind this failure by providing a thorough analysis on the hardness of random exploration in Pommerman. While model-free random exploration is typically futile, we develop a model-based automatic reasoning module that can be used for safer exploration by pruning actions that will surely lead the agent to death. We empirically demonstrate that this module can significantly improve learning.

연구 동기 및 목표

• 모델 자유형 강화 학습이 랜덤 탐색 중 고도의 자살률로 인해 Pommerman에서 실패하는 이유를 분석하는 것.
• 지연된 행동 효과와 속임수적인 보상으로 인해 Pommerman에서 안전한 탐색이 매우 어려워지는 이유를 규명하는 것.
• 확정적인 사망으로 이어지는 행동을 자르는 모델 기반 추론 모듈을 설계하여 탐색 안전성을 향상시키는 것.
• 자신의 행동 자르기 모듈을 통해 FFA 및 팀 모드에서 샘플 효율적인 학습이 가능하다는 것을 실증적으로 검증하는 것.
• 정적 상대방과 훈련된 에이전트가 룰 기반 베이스라인인 SimpleAgent와의 경쟁 환경에서 뛰어난 성능을 내는지 보여주는 것.

제안 방법

• 논문은 실행 전에 폭탄 배치 행동의 안전성을 분석하는 모델 기반 추론 모듈을 도입한다.
• 모듈은 10개의 시간 단계 동안 폭탄 폭발의 전방 시뮬레이션을 사용하여 어떤 에이전트도 살해될지 예측한다.
• 예측된 폭발 반경과 에이전트의 위치에 기반하여 자신만의 사망으로 이어지는 행동을 자른다.
• 모듈은 PPO에 통합되어 에이전트가 안전하게 탐색하면서도 정책 학습을 유지할 수 있도록 한다.
• 이 방법은 정적 상대방과 SimpleAgent 기반 베이스라인에 대해 FFA 및 팀 모드에서 평가된다.
• 이동 유도, 파wr업 수집, 적 제거를 장려하기 위해 보상 형태 조정 기법을 사용한다.

실험 결과

연구 질문

• RQ1 PPO와 같은 고급 알고리즘을 사용하고도 Pommerman에서 모델 자유형 강화 학습이 성공하지 못하는 이유는 무엇인가?
• RQ2 랜덤 탐색이 어떻게 높은 수준의 에이전트 자살률을 초래하며, 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 모델 기반 행동 자르기 모듈이 지연되고 희박한 보상을 가진 환경에서 학습을 크게 향상시킬 수 있는가?
• RQ4 정적 상대방과 훈련된 에이전트가 SimpleAgent와 같은 룰 기반 베이스라인과 경쟁할 때 얼마나 잘 일반화되는가?
• RQ5 복잡한 격자 기반 환경에서 샘플 효율적인 학습을 가능하게 하는 데 안전한 탐색이 어떤 역할을 하는가?

주요 결과

• 행동 자르기 없이 훈련한 PPO 에이전트는 FFA 및 팀 모드에서 정적 상대방과의 훈련을 5일 동안 진행한 후 어떤 성과도 달성하지 못했다.
• 행동 자르기 모듈을 도입한 PPO 에이전트는 FFA 및 팀 모드 모두에서 일관된 성공을 거두었으며, 순수한 탐색 과제를 효과적으로 학습했다.
• FFA 모드에서 세 명의 SimpleAgent 상대와의 대결에서 최종 에이전트는 약 40%의 승률을 기록했으며, 동등한 실력의 에이전트가 기대하는 25% 승률을 초월했다.
• 팀 모드에서는 SimpleAgent 팀과의 대결에서 약 70%의 승률을 기록하여 정적 상대방 훈련에서의 강력한 일반화 능력을 입증했다.
• 행동 자르기 모듈은 탐색 중 자살 행동의 수를 줄였으며, 샘플 효율성과 학습 안정성 향상에 직접 기여했다.
• 이 모듈의 초벌판은 NeurIPS 2018 학습 부문 경쟁에서 2위를 차지하여 실용적 효과를 입증했다.