[論文レビュー] Accelerating Training in Pommerman with Imitation and Reinforcement Learning

Hardik Meisheri, Omkar Shelke+2 more|arXiv (Cornell University)|Nov 12, 2019

Reinforcement Learning in Robotics参考文献 27被引用数 7

ひとこと要約

この論文は、マルチエージェントPommerman環境における学習を高速化するため、模倣学習と強化学習を組み合わせたハイブリッド手法を提案する。まず、ノイズのある専門家方策を模倣し、その後、カリキュラムベースのPPOを用いたファインチューニングを行うことで、100,000ゲームの学習で、Skynet（2018年NeurIPSコンペティションで2番目に良いエージェント）と対戦し、8戦中7勝または引き分けを記録する優れた性能を達成した。これは、先行する非ツリー探索手法と比較して、著しく高速である。

ABSTRACT

The Pommerman simulation was recently developed to mimic the classic Japanese game Bomberman, and focuses on competitive gameplay in a multi-agent setting. We focus on the 2$ imes$2 team version of Pommerman, developed for a competition at NeurIPS 2018. Our methodology involves training an agent initially through imitation learning on a noisy expert policy, followed by a proximal-policy optimization (PPO) reinforcement learning algorithm. The basic PPO approach is modified for stable transition from the imitation learning phase through reward shaping, action filters based on heuristics, and curriculum learning. The proposed methodology is able to beat heuristic and pure reinforcement learning baselines with a combined 100,000 training games, significantly faster than other non-tree-search methods in literature. We present results against multiple agents provided by the developers of the simulation, including some that we have enhanced. We include a sensitivity analysis over different parameters, and highlight undesirable effects of some strategies that initially appear promising. Since Pommerman is a complex multi-agent competitive environment, the strategies developed here provide insights into several real-world problems with characteristics such as partial observability, decentralized execution (without communication), and very sparse and delayed rewards.

研究の動機と目的

• 模倣学習と強化学習を組み合わせることで、マルチエージェントディープ強化学習におけるサンプル非効率性を低減すること。
• 部分的観測、疎な報酬、競争的マルチエージェント環境における非定常性といったPommermanにおける課題に対処すること。
• 模倣学習から強化学習への移行時に、方策の忘却を防ぐ安定した学習パラダイムを開発すること。
• カリキュラム学習と報酬形状化を用いて収束を加速し、長時間の訓練やツリー探索を回避すること。
• 多様な相手、特に強化されたエージェントやコンペティションのベースラインに対して、手法を評価すること。

提案手法

• Pommerman開発者から提供されたノイズのある専門家方策を用いた模倣学習による初期訓練により、基本的なゲームメカニクスを習得する。
• 報酬形状化を施したプロキシマル・ポリシー最適化（PPO）への移行により、学習の安定化と望ましい行動への報酬の整合性を図る。
• ドメイン固有のヒューリスティクスに基づくアクションフィルタを適用し、非効果的行動を抑制し、方策の安定性を向上させる。
• 訓練中のノイズや一貫性のない観測に対処するため、ジャッターキャンセレーションを導入する。
• 静的で単純なエージェントから始めて、段階的に相手の難易度を上げるカリキュラム学習を実装する。
• ジャッターキャンセレーションとアクションフィルタを併用したPPOエージェントを用いることで、耐性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノイズを含む不完全な専門家方策に対する模倣学習は、Pommermanのような複雑なマルチエージェント環境において、方策学習のブートストラップに効果的か？
• RQ2 模倣学習から強化学習への移行を安定化させ、基本的スキルの深刻な忘却を防ぐにはどうすればよいか？
• RQ3 カリキュラム学習は、マルチエージェントPommerman学習における収束速度をどの程度加速させ、最終的なパフォーマンスを向上させるか？
• RQ4 報酬形状化、アクションフィルタ、ジャッターキャンセレーションは、方策の安定性と勝率にどのような影響を与えるか？
• RQ5 純粋な強化学習やヒューリスティックベースラインと比較して、提案手法はパフォーマンスとサンプル効率の面でどの程度優れているか？

主な発見

• PPOエージェントは、2018年NeurIPSコンペティションで2番目に良いエージェントであるSkynetと対戦し、8戦中7勝または引き分けを記録した。
• 本手法により、学習時間を100,000ゲームにまで短縮した。これは、文献に登録された他の非ツリー探索手法と比較して著しく高速である。
• ジャッターキャンセレーションとアクションフィルタの両方を組み込むことで、全相手に対して敗北と引き分けが減少し、全相手に対して勝利数が増加した。
• 最初に簡単な相手と学習させることで、より良い探索と爆弾配置戦略が得られ、模倣学習で習得した基礎的スキルの喪失を防げた。
• 両フィルタを備えたPPOエージェントは、StaticAgentと対戦して90.4%の勝率を記録したのに対し、バニラPPOでは68.1%にとどまり、改良の有効性が示された。
• 感度分析の結果、初期には有望に思えた戦略（例：フィルタなしの模倣学習）が、望ましくないパフォーマンスの低下を引き起こすことが判明し、ハイパーパrameterの慎重な調整の必要性が強調された。