[論文レビュー] Monte Carlo Neural Fictitious Self-Play: Approach to Approximate Nash equilibrium of Imperfect-Information Games

Li Zhang, Wei Wang+2 more|arXiv (Cornell University)|Mar 22, 2019

Artificial Intelligence in Games参考文献 19被引用数 5

ひとこと要約

本稿では、モンテカルロ木探索（MCTS）とニューラル擬似自己対戦（NFSP）を組み合わせることで、大規模な不完全情報ゲームにおける近似ナッシュ均衡への収束をより速くかつ安定させる、モンテカルロニューラル擬似自己対戦（MC-NFSP）と非同期ニューラル擬似自己対戦（ANFSP）を提案する。MC-NFSPはサンプル効率を向上させ、NFSPが失敗するような深く複雑なゲーム（例えばオセロ）でも収束を可能にする。一方、ANFSPは並列なアクター・リーナーを導入することで学習を加速し、ポーカー系ゲームにおけるメモリ使用量と学習時間を削減する。

ABSTRACT

Researchers on artificial intelligence have achieved human-level intelligence in large-scale perfect-information games, but it is still a challenge to achieve (nearly) optimal results (in other words, an approximate Nash Equilibrium) in large-scale imperfect-information games (i.e. war games, football coach or business strategies). Neural Fictitious Self Play (NFSP) is an effective algorithm for learning approximate Nash equilibrium of imperfect-information games from self-play without prior domain knowledge. However, it relies on Deep Q-Network, which is off-line and is hard to converge in online games with changing opponent strategy, so it can't approach approximate Nash equilibrium in games with large search scale and deep search depth. In this paper, we propose Monte Carlo Neural Fictitious Self Play (MC-NFSP), an algorithm combines Monte Carlo tree search with NFSP, which greatly improves the performance on large-scale zero-sum imperfect-information games. Experimentally, we demonstrate that the proposed Monte Carlo Neural Fictitious Self Play can converge to approximate Nash equilibrium in games with large-scale search depth while the Neural Fictitious Self Play can't. Furthermore, we develop Asynchronous Neural Fictitious Self Play (ANFSP). It use asynchronous and parallel architecture to collect game experience. In experiments, we show that parallel actor-learners have a further accelerated and stabilizing effect on training.

研究の動機と目的

• 大規模で深く、不完全情報のゲームにおいて、ニューラル擬似自己対戦（NFSP）の収束が悪い問題を解決すること。これは、オフラインのディープQネットワーク（DQN）に依存しているためである。
• MCTSをNFSPに統合することで、オンライン・オンラインオフラインハイブリッド学習を実現し、自己対戦におけるサンプル効率と学習安定性を向上させること。
• 経験収集に非同期かつ並列なアクター・リーナーのアーキテクチャを導入することで、NFSPの学習時間とメモリ使用量を削減すること。
• 提案手法を、オセロ、改変されたレッド・ホールデム、10対10のFPSチーム戦闘ゲームといった複雑な環境で評価し、超人レベルのパフォーマンスを示すこと。

提案手法

• MC-NFSPはMCTSとNFSPを統合し、MCTSを用いて高品質なロールアウトを生成することで、最適応答Qネットワークの学習に使用する。これにより、標準的なNFSPで用いられるオフラインDQNの代わりに利用する。
• アルゴリズムは2つのネットワークを維持する：MCTSガイドドロールアウトを用いて最適応答を学習するQネットワーク、および歴史的な行動から平均方策を学習する教師ありネットワーク。
• MCTSによりオンライン計画と探索が可能となり、相手の戦略の変化に適応でき、深く複雑なゲーム木におけるサンプル効率が向上する。
• ANFSPは、独立した環境と相互作用する非同期で並列なアクター・リーナーを採用し、パラメータを共有し、ミニバッチで勾配更新を行うことで、メモリ使用量を削減し、学習を加速する。
• ANFSPでは、並列に収集された経験を用いて、共有されたQネットワークおよび方策ネットワークの勾配更新が行われ、ターゲットネットワークは定期的に更新される。
• アンタシペタリー・ダイナミクスを用いて平均方策と最適応答の混合が行われ、$ε$-グリーディ探索は時間とともに減少する。

実験結果

リサーチクエスチョン

• RQ1 MCTSは、深く複雑な探索木を持つ大規模な不完全情報ゲームにおけるNFSPの収束性とパフォーマンスを向上させることができるか？
• RQ2 オフラインDQNの代わりにオンラインMCTSベースのロールアウトを採用することで、自己対戦における学習がより速く安定するようになるか？
• RQ3 非同期で並列なアクター・リーナーのアーキテクチャは、NFSPの学習時間とメモリ使用量を削減できるか、かつ収束性を維持または向上できるか？
• RQ4 MC-NFSPとANFSPは、標準的なNFSPが収束しないゲームにおいて、近似ナッシュ均衡に到達できるか？
• RQ5 MCTSとNFSPの組み合わせは、チーム戦FPSのような複雑でリアルタイムな不完全情報ゲームにおいて、超人レベルのポリシーを生成できるか？

主な発見

• MC-NFSPはオセロにおいて近似ナッシュ均衡に収束したが、標準的なNFSPは70万エピソードを経ても収束しなかった。
• 改変されたレッド・ホールデムでは、ANFSPはNFSPよりも低い犠牲率（exploitability）を達成し、収束も速かった。学習は2時間未満で完了し、NFSPの0.75よりも低い犠牲率を達成した。
• ANFSPは、複数のアクターによる並列な経験収集とミニバッチ勾配更新を可能にすることで、メモリ要件と学習時間を削減した。
• FPSチーム戦闘ゲームでは、MC-NFSPエージェントが100ゲームにわたり10人の大学生と対戦し、75％の勝率を記録し、超人レベルのパフォーマンスを示した。
• FPSゲームの学習は150エピソード未満で収束し、人間が訓練したベースライン（SL-Human）に対して80％以上の勝率を記録した。また、学習損失はほぼゼロに近づいた。
• MCTSとNFSPの組み合わせにより、戦略的深さが高く不完全情報が強い環境でも、安定的かつ高性能なポリシー学習が可能になった。