[論文レビュー] Neural Fictitious Self-Play on ELF Mini-RTS

Keigo Kawamura, Yoshimasa Tsuruoka|arXiv (Cornell University)|Feb 6, 2019

Reinforcement Learning in Robotics参考文献 20被引用数 5

ひとこと要約

この論文では、ELFプラットフォーム上のMini-RTSにNeural Fictitious Self-Play (NFSP)を適用し、方策勾配強化学習とNFSPを組み合わせることで、より攻撃されにくい、ゲーム理論的な戦略を特定する。Raw self-playでNFSPエージェントを事前学習させることで、理論的収束保証が欠如するself-playであるにもかかわらず、スケーラビリティと収束速度が著しく向上し、強力で安定した戦略が得られる。

ABSTRACT

Despite the notable successes in video games such as Atari 2600, current AI is yet to defeat human champions in the domain of real-time strategy (RTS) games. One of the reasons is that an RTS game is a multi-agent game, in which single-agent reinforcement learning methods cannot simply be applied because the environment is not a stationary Markov Decision Process. In this paper, we present a first step toward finding a game-theoretic solution to RTS games by applying Neural Fictitious Self-Play (NFSP), a game-theoretic approach for finding Nash equilibria, to Mini-RTS, a small but nontrivial RTS game provided on the ELF platform. More specifically, we show that NFSP can be effectively combined with policy gradient reinforcement learning and be applied to Mini-RTS. Experimental results also show that the scalability of NFSP can be substantially improved by pretraining the models with simple self-play using policy gradients, which by itself gives a strong strategy despite its lack of theoretical guarantee of convergence.

研究の動機と目的

• マルチエージェント環境における非定常性の課題に対処しつつ、NFSPを用いてリアルタイムストラテジー（RTS）ゲームのゲーム理論的ソリューションを開発すること。
• ELFプラットフォーム上での非自明で不完全情報のRTSゲームであるMini-RTSにNFSPを適用し、ナッシュ均衡に近い戦略プロファイルを計算すること。
• 方策勾配を用いたRaw self-playによる事前学習を通じて、NFSPのスケーラビリティと学習効率を向上させること。
• 高速だが不安定なself-playで事前学習することで、複雑なRTS環境におけるNFSPの性能と安定性が向上するかどうかを評価すること。

提案手法

• NFSPは、不完全情報を持つ2人ゼロサムの広範形式ゲームとして、Mini-RTSに適用される。
• NFSPエージェントは二重ヘッドのニューラルネットワークを用いる：強化学習（RL）ヘッドは最適反応戦略を、教師あり学習（SL）ヘッドは戦略平均化を担当する。
• RL部は、相手の平均戦略に対する最適反応を計算するために、Proximal Policy Optimization（PPO）を用いる。
• SL部は、過去の戦略のリプレイバッファを維持し、重み付き平均を計算してメタ戦略を形成する。
• 事前学習は、まずPPOを用いたRaw self-playでRLヘッドを訓練し、その後SLヘッドを同じポリシー・パラメータで初期化することで実施される。
• この事前学習プロセスにより、PPOの高速学習を活用しながらNFSPの理論的収束保証を維持することで、より高速な収束と高い安定性が達成される。

実験結果

リサーチクエスチョン

• RQ1 NFSPを方策勾配強化学習と効果的に組み合わせることで、Mini-RTSにおいて安定的で攻撃されにくい戦略を特定できるか？
• RQ2 PPOを用いたRaw self-playによるNFSPエージェントの事前学習は、そのスケーラビリティと収束速度にどのような影響を与えるか？
• RQ3 Raw self-playに理論的収束保証が欠如するにもかかわらず、事前学習によりNFSPの性能が、初期から学習を開始する場合と比較して向上するか？
• RQ4 事前学習戦略は、AI-Simple や AI-Hit-and-Run といった強力なベースラインAIに対して、最終エージェントの性能を維持または向上させられるか？
• RQ5 事前学習は、NFSPの遅い収束をどれだけ軽減できるか、かつゲーム理論的安定性を保持できるか？

主な発見

• PPOを用いたRaw self-playによるNFSPエージェントの事前学習は、NFSPを初期から学習させる場合と比較して、学習プロセスの加速とスケーラビリティの向上に顕著な効果を示す。
• 事前学習手法により、ベースのself-play戦略がわずかに弱くても、ベースラインAIに対して強い性能を維持する戦略が得られ、勝率が安定的に高い水準に保たれる。
• 事前学習を施したNFSPエージェントは、非事前学習のNFSPを上回り、より安定的で攻撃されにくい戦略プロファイルを達成する。
• 事前学習アプローチは、PPOの高速学習を効果的に活用しながら、NFSPの収束保証を維持し、強固でスケーラブルなトレーニングパイプラインを実現した。
• 実験結果から、事前学習手法は計算時間の削減に効果的であり、self-playアルゴリズムが振動しても有効であることが示され、複雑なゲーム環境における実用的利点が裏付けられた。