[論文レビュー] Continual Match Based Training in Pommerman: Technical Report

Peng Peng, Liang Pang+2 more|arXiv (Cornell University)|Dec 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 7被引用数 10

ひとこと要約

本論文では、模倣学習や人的指導なしにPommermanエージェントを訓練するための継続的マッチベースの学習フレームワークCOMBATを提案する。ラウンドロビン方式のマッチスケジューリング、動的ELOベースのランク付け、および適応的割引係数チューニングを用いることで、エージェントはこれまで習得した知識を保持したまま、爆弾キックやパワーアップ収集といった新しいスキルを継続的に学習可能となり、結果としてNeurIPS 2018コンテストでトップ1の成績を達成した。

ABSTRACT

Continual learning is the ability of agents to improve their capacities throughout multiple tasks continually. While recent works in the literature of continual learning mostly focused on developing either particular loss functions or specialized structures of neural network explaining the episodic memory or neural plasticity, we study continual learning from the perspective of the training mechanism. Specifically, we propose a COnitnual Match BAsed Training (COMBAT) framework for training a population of advantage-actor-critic (A2C) agents in Pommerman, a partially observable multi-agent environment with no communication. Following the COMBAT framework, we trained an agent, namely, Navocado, that won the title of the top 1 learning agent in the NeurIPS 2018 Pommerman Competition. Two critical features of our agent are worth mentioning. Firstly, our agent did not learn from any demonstrations. Secondly, our agent is highly reproducible. As a technical report, we articulate the design of state space, action space, reward, and most importantly, the COMBAT framework for our Pommerman agent. We show in the experiments that Pommerman is a perfect environment for studying continual learning, and the agent can improve its performance by continually learning new skills without forgetting the old ones. Finally, the result in the Pommerman Competition verifies the robustness of our agent when competing with various opponents.

研究の動機と目的

• 部分的に観測可能な環境におけるスケーラブルで再現可能なマルチエージェント強化学習のための訓練フレームワークの開発。
• Pommermanのような複雑な環境において、反応的で長期的計画スキルを学習しつつ、過去に習得した知識を忘れない継続的スキル習得の課題への対処。
• 自己改善を可能にする競争ベースのマッチ訓練により、エキスパートの指導に依存しない仕組みの実現。
• 特に割引係数を含む動的ハイパーパramータ適応が、POMDPにおける局所最適解からの脱出を可能にし、学習を拡張する仕組みについての調査。
• NeurIPS 2018 Pommermanコンテストにおける多様な相手との対戦を通じて、フレームワークの頑健性の検証。

提案手法

• A2Cエージェントの集団を並列で訓練し、ラウンドロビン方式のトーナメント構造に基づいたマッチスケジューリングを実装。
• マッチ結果に基づいてELOスコアを用いてエージェントをランク付けし、上位成績のエージェントのみを継続的な訓練に進める。
• 収束したエージェントに対して、割引係数（重要なハイパーパramータ）を動的に更新することで、新たな行動方針の探索を可能にする。
• 段階的複雑化：単一エージェント訓練から始め、次にチーム訓練へ、最後に爆弾キック行動を有効化。
• 報酬関数のカリキュラムを設計：生存報酬から始め、次にパワーアップ収集報酬を追加し、最後にチーム連携を統合。
• マルチステージの訓練パイプラインを適用：(1) 通常報酬での単一エージェント、(2) パワーアップボーナス付き、(3) キック無しのチーム訓練、(4) キック有効化、段階的スキル習得を可能に。

実験結果

リサーチクエスチョン

• RQ1 マッチベースで人口駆動される訓練フレームワークは、指導なしに部分的に観測可能なマルチエージェント環境で継続的学習を可能にするか？
• RQ2 特に割引係数を含む動的ハイパーパramータチューニングは、エージェントが局所最適解から脱出し、高度なスキルを学習するのをどのように支援するか？
• RQ3 競争環境における継続的訓練において、エージェントは新しいスキルを習得しながらも、過去に習得したスキルをどの程度保持できるか？
• RQ4 通信の欠如と部分的観測性が、複雑な協調的・競争的行動の出現を妨げるか、あるいは促進するか？
• RQ5 自己改善可能な訓練フレームワークは、実世界のコンテスト環境（NeurIPS 2018 Pommermanコンテスト）において、標準的な強化学習ベースラインを上回る性能を発揮できるか？

主な発見

• COMBATフレームワークにより、Navocadoエージェントは模倣学習を一切使用せずにNeurIPS 2018 Pommermanコンテストでトップ1の順位を達成した。
• エージェントは段階的スキル習得を示した：生存、パワーアップ収集から、爆弾キックや戦略的ポジショニングといった高度な行動へ。
• 最終訓練段階において、ゲームエピソードの長さが約500ステップから約400ステップに短縮され、攻撃的かつ効率的なプレイスタイルが学習されたことが示された。
• エージェントは爆弾の爆発点に近づいて爆風から逃れる行動を学習し、反応的生存行動を示した。
• 敵が設置した爆弾を相手に向かってキックすることで、爆発を戦術的武器として利用する戦略的予見能力を学習した。
• 木造壁の近くに爆弾を設置する基本的スキルが習得されると、その後のハイパーパramータチューニングに対しても保持されたが、初期に習得できなければ後から習得できず、基礎的スキルの習得に「重要な学習期間」が存在することが示された。