[論文レビュー] Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning

Julien Pérolat, Bart De Vylder+32 more|arXiv (Cornell University)|Jun 30, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

この論文では、自己対戦と正則化ナッシュダイナミクス（R-NaD）アルゴリズムを用いて、$10^{535}$ノードのゲームツリーを持つ、極めて不完全情報なボードゲームであるストラテゴを、完全に自己学習するモデルフリーのマルチエージェント強化学習エージェントであるDeepNashを紹介する。DeepNashは人間エキスパート並みのパフォーマンスを達成し、Gravonプラットフォームで上位3位にランクインし、従来のAI手法を上回る性能を示した。

ABSTRACT

We introduce DeepNash, an autonomous agent capable of learning to play the imperfect information game Stratego from scratch, up to a human expert level. Stratego is one of the few iconic board games that Artificial Intelligence (AI) has not yet mastered. This popular game has an enormous game tree on the order of $10^{535}$ nodes, i.e., $10^{175}$ times larger than that of Go. It has the additional complexity of requiring decision-making under imperfect information, similar to Texas hold'em poker, which has a significantly smaller game tree (on the order of $10^{164}$ nodes). Decisions in Stratego are made over a large number of discrete actions with no obvious link between action and outcome. Episodes are long, with often hundreds of moves before a player wins, and situations in Stratego can not easily be broken down into manageably-sized sub-problems as in poker. For these reasons, Stratego has been a grand challenge for the field of AI for decades, and existing AI methods barely reach an amateur level of play. DeepNash uses a game-theoretic, model-free deep reinforcement learning method, without search, that learns to master Stratego via self-play. The Regularised Nash Dynamics (R-NaD) algorithm, a key component of DeepNash, converges to an approximate Nash equilibrium, instead of 'cycling' around it, by directly modifying the underlying multi-agent learning dynamics. DeepNash beats existing state-of-the-art AI methods in Stratego and achieved a yearly (2022) and all-time top-3 rank on the Gravon games platform, competing with human expert players.

研究の動機と目的

• ストラテゴをマスターするという長年の課題に取り組む。ストラテゴは$10^{535}$ノードの巨大なゲームツリーと極めて不完全な情報を持つ、象徴的なボードゲームである。
• 従来の計画法や探索手法が失敗するゲームにおいて、人間の示唆なしに最適戦略を完全に自己学習できるAIエージェントを開発する。
• マルチエージェント強化学習における学習ダイナミクスの不安定性を克服し、サイクルを回避してナッシュ均衡に収束する手法を設計する。
• 長期間にわたるエピソード、広大な行動空間、明確な部分問題への分解が困難なゲームにおいて、不確実性下での戦略的意思決定のエンドツーエンド学習を可能にする。

提案手法

• DeepNashは、正則化ナッシュダイナミクス（R-NaD）アルゴリズムに基づくモデルフリーの深層強化学習アプローチを採用しており、学習ダイナミクスを変更することで、近似的なナッシュ均衡に収束する。
• エージェントは自己対戦を通じて学習し、環境モデルや探索に依存せずに、ゲーム状態から行動へのポリシーを学習する深層ニューラルネットワークを訓練する。
• 推論時に、公開情報を利用して価値の上界を推定する価値バウンズヒューリスティクスを適用し、危険な行動をプルーニングすることで、性能に大きな向上は見られないが、耐性を高める。
• 過去の相手の行動を記録・再利用するメモリヒューリスティクスを用いることで、長期間にわたる複雑なゲームにおけるポリシーの一般化を向上させ、過学習を低減する。
• 訓練の安定化とマルチエージェント環境における探索の促進を目的に、エントロピー正則化を組み込んだ報酬変換を用いる。
• 推論時、行動しきい値処理や離散化といったテスト時改善手法を適用し、コアポリシーを変更せずに意思決定の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーのマルチエージェント強化学習エージェントは、$10^{535}$ノードのゲームツリーと極めて不完全な情報を持つストラテゴでエキスパート並みのパフォーマンスを達成できるか？
• RQ2 R-NaDアルゴリズムはマルチエージェント環境における学習ダイナミクスを安定化させ、ナッシュ均衡の周囲を巡るサイクルを防ぎ、安定したポリシーへの収束を可能にするか？
• RQ3 人間の示唆なしにエンドツーエンドの自己対戦学習が、従来のAI手法がアマチュアレベルに留まったゲームで、スーパーヒューマンのパフォーマンスを達成できるか？
• RQ4 テスト時ヒューリスティクス（価値バウンズやメモリ）は、学習済みポリシーを変更せずに実世界の展開においてどの程度パフォーマンスを向上させるか？
• RQ5 このようなエージェントは、Probe、Master of the Flag、Demon of Ignoranceといった確立されたAIシステムを、競争的評価で上回ることができるか？

主な発見

• DeepNashは、人間エキスパートプレーヤーと対戦するGravonオンラインストラテゴプラットフォームで、2022年および通算で上位3位にランクされた。
• 直接評価において、Probe（バージョン2.0.37）、Master of the Flag（v5.2.0.40）、Demon of Ignorance（v0.13.4）を含む、既存の最先端AI手法をすべて上回った。
• 価値バウンズとメモリヒューリスティクスは、実際にはミスを回避するのに役立ったが、DeepNash自身の自己対戦バージョンと比較した際の勝率向上は顕著ではなく、安定化効果であるが性能向上効果は限定的であることが示唆された。
• Gravonでの対戦において、価値バウンズヒューリスティクスが影響を与えたのは、DeepNashの手数の1.5％未満にとどまり、まれにしか発動しないが、有用な安全装置であることがわかった。
• 人間エキスパート、特に元世界王者のビンセント・ド・ボーも、エージェントの強さに驚き、公式世界選手権でも好成績を収めるものと予想した。
• このエージェントは、極めて不完全な情報と大規模なスケーリングを伴うゲームにおいて、モデルフリーの自己対戦強化学習が成功し得ることを示した。従来の探索ベースやモデルベースのアプローチの限界を乗り越えた。