[論文レビュー] On Hard Exploration for Reinforcement Learning: a Case Study in Pommerman

Chao Gao, Bilal Kartal+2 more|arXiv (Cornell University)|Jul 26, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文は、Pommermanを事例として、マルチエージェント強化学習におけるハードな探索の課題に取り組む。モデルベースのアクションプリーニングモジュールを提案し、自殺的爆弾配置を防ぐことで、報酬がスパarsityで遅延的かつ欺瞞的である環境でも、サンプル効率の良い学習を可能にする。この手法により、モデルフリーRLが完全に失敗する状況下でも、PPOエージェントは静的およびベースライン相手に対して優れた性能を発揮する。

ABSTRACT

How to best explore in domains with sparse, delayed, and deceptive rewards is an important open problem for reinforcement learning (RL). This paper considers one such domain, the recently-proposed multi-agent benchmark of Pommerman. This domain is very challenging for RL --- past work has shown that model-free RL algorithms fail to achieve significant learning without artificially reducing the environment's complexity. In this paper, we illuminate reasons behind this failure by providing a thorough analysis on the hardness of random exploration in Pommerman. While model-free random exploration is typically futile, we develop a model-based automatic reasoning module that can be used for safer exploration by pruning actions that will surely lead the agent to death. We empirically demonstrate that this module can significantly improve learning.

研究の動機と目的

• モデルフリー強化学習がPommermanでなぜ失敗するかを分析すること。特に、ランダムな探索による高い自殺率が原因である。
• 遅延した行動効果と欺瞞的な報酬が、Pommermanにおける安全な探索を極めて困難にすることを同定すること。
• 確実な死を引き起こす行動をプリーニングするモデルベースの推論モジュールを設計し、探索の安全性を向上させること。
• 実験的に、アクションプリーニングが、フリーフォーオールおよびチームモードの両方でサンプル効率の良い学習を可能にすることを検証すること。
• 静的相手に対して学習したエージェントが、ルールベースのベースライン（SimpleAgent）と対戦する競争環境で、優れた性能を発揮できることを示すこと。

提案手法

• 論文は、実行前に安全を分析するモデルベースの推論モジュールを導入し、爆弾配置行動の安全性を検査する。
• モジュールは、爆弾の爆発を10ステップにわたって前方シミュレーションし、どのエージェントが死ぬかを予測する。
• 予測された爆発半径とエージェントの位置に基づき、自エージェントの死を引き起こす行動をプリーニングする。
• モジュールはPPOと統合されており、エージェントが安全に探索しつつもポリシー学習を維持できるようにする。
• この手法は、静的相手およびSimpleAgentベースラインに対して、フリーフォーオールおよびチームモードで評価される。
• 移動、パワーアップ収集、敵の排除を促進する報酬形状化スキームが用いられる。

実験結果

リサーチクエスチョン

• RQ1 PPOのような高度なアルゴリズムを用いても、Pommermanではなぜモデルフリー強化学習が学習に失敗するのか？
• RQ2 ランダムな探索がどのように高いエージェント自殺率を引き起こし、サンプル効率にどのような影響を与えるのか？
• RQ3 モデルベースのアクションプリーニングモジュールは、報酬が遅延的かつスパarsityである環境で学習を著しく改善できるか？
• RQ4 静的相手に対して学習したエージェントが、SimpleAgentのようなルールベースのベースラインと対戦する際に、どの程度一般化できるか？
• RQ5 安全な探索は、複雑なグリッドワールド環境におけるサンプル効率の良い学習を可能にする上で、どのような役割を果たすのか？

主な発見

• アクションプリーニングなしでは、PPOエージェントはフリーフォーオールおよびチームモードの両方で、静的相手に対して5日間の学習後も何ら成功を達成できなかった。
• アクションプリーニングモジュールを導入したことで、PPOエージェントはフリーフォーオールおよびチームモードの両方で一貫した成功を収め、純粋な探索タスクを効果的に学習できた。
• フリーフォーオールモードでは、3体のSimpleAgent相手に対して約40％の勝率を記録し、同等のスキルを持つエージェントの期待される25％の勝率を上回った。
• チームモードでは、SimpleAgentチームに対して約70％の勝率を記録し、静的相手に対する学習から強い一般化能力を示した。
• アクションプリーニングモジュールにより、探索中の自殺的行動の数が減少し、直接的にサンプル効率と学習安定性が向上した。
• このモジュールの初期版は、NeurIPS 2018のラーニングカテゴリー競争で2位を獲得し、実用的有効性が裏付けられた。