[論文レビュー] Student of Games: A unified learning algorithm for both perfect and imperfect information games

Martin Schmid, Matej Moravčík+11 more|arXiv (Cornell University)|Dec 6, 2021

Artificial Intelligence in Games被引用数 8

ひとこと要約

Student of Games (SoG) は、完全情報ゲームおよび不完全情報ゲームの両方で優れた性能を発揮するために、ガイド付き探索、自己対戦強化学習、ゲーム理論的推論を統合した包括的な学習アルゴリズムである。計算資源と近似能力が増加するに従い、近似的に最適な戦略に収束し、チェス、ゴ・プロ、ノーリミット・テキサス・ホールデム・ポーカー、スコットランド・ヤードにおいて、従来のエージェントを上回る性能を示した。ドメイン特化の設計を最小限に抑えたまま、多様なゲームタイプに一般化している。

ABSTRACT

Games have a long history as benchmarks for progress in artificial intelligence. Approaches using search and learning produced strong performance across many perfect information games, and approaches using game-theoretic reasoning and learning demonstrated strong performance for specific imperfect information poker variants. We introduce Student of Games, a general-purpose algorithm that unifies previous approaches, combining guided search, self-play learning, and game-theoretic reasoning. Student of Games achieves strong empirical performance in large perfect and imperfect information games -- an important step towards truly general algorithms for arbitrary environments. We prove that Student of Games is sound, converging to perfect play as available computation and approximation capacity increases. Student of Games reaches strong performance in chess and Go, beats the strongest openly available agent in heads-up no-limit Texas hold'em poker, and defeats the state-of-the-art agent in Scotland Yard, an imperfect information game that illustrates the value of guided search, learning, and game-theoretic reasoning.

研究の動機と目的

• 完全情報および不完全情報ゲームの両方において、自己対戦学習、ガイド付き探索、ゲーム理論的推論を統合する汎用アルゴリズムの開発。
• 従来のアルゴリズムが通常、完全情報または不完全情報ゲームのいずれかに特化しているというギャップを埋める。
• チェス、ゴ・プロ、ポーカー、スコットランド・ヤードを含む多様で大規模なゲームにおいて、広範なドメイン特化知識に依存せずに、強力な実証的性能を達成すること。
• 計算リソースおよびモデル容量が増加するに従い、近似的に完全な戦略に収束することを証明すること。
• 同一のアルゴリズムフレームワークで、チェス、ゴ・プロ、ポーカー、スコットランド・ヤードなど多様なゲームタイプに一般化できることを示し、真の汎用強化学習エージェントの実現に前進すること。

提案手法

• SoG は、将来の最も関連性の高い状態に向けて非一様に部分ゲームを拡張する、任意の時間で実行可能な局所探索である成長木カウンターファクチュアルレジストリューション最小化（GT-CFR）を採用している。
• 整合的な自己対戦学習を用い、過去の探索経路からのゲーム結果および再帰的サブサーチを用いて、価値関数および方策ネットワークを訓練している。
• オンラインプレイ中に一貫性を保ち、敵対的利用可能性を低減するために、部分ゲームを再解決することでゲーム理論的推論を統合している。
• 価値関数および方策関数にニューラルネットワークを適用し、探索からの経験を用いた自己対戦による学習により、サンプル効率の高い学習を実現している。
• 再帰的探索と価値ネットワークのブートストラップを用いて、スコットランド・ヤードのような長期間計画が必要なゲームにおける計画深度および方策品質を向上させている。
• フレームワークは、確率的および意思決定ノードを両方モデル化できる、因子化観測確率的ゲーム（FOSG）の形式的定式化に基づいている。

実験結果

リサーチクエスチョン

• RQ1 1つのアルゴリズムが、ガイド付き探索、自己対戦学習、ゲーム理論的推論を効果的に統合し、完全情報および不完全情報ゲームの両方をマスターできるか？
• RQ2 計算リソースおよびモデル容量が増加するに従い、アルゴリズムが近似的に最適な戦略に収束するか？
• RQ3 SoG は、チェス、ゴ・プロ、ポーカー、スコットランド・ヤードのような多様なゲームタイプに、顕著なアーキテクチャ的・ハイパーパrameterの変更なしに一般化できるか？
• RQ4 長期間計画が必要なゲームや隠れた情報を持つゲームにおいて、SoG の性能は最先端エージェントと比べてどうか？
• RQ5 探索の質と自己対戦学習の影響が、敵対的利用可能性および最終的な方策の強度に与える影響は何か？

主な発見

• チェスにおいて、SoG は AlphaZero（s=16k, t=800k）に対して相対Elo +1970 を達成し、完全情報ゲームにおける優れた性能を示した。
• ゴ・プロにおいて、SoG は非再帰的（non-recursive）で +2025、再帰的クエリで +1838 の相対Eloを記録し、いくつかの AlphaZero の設定を上回った。
• 1対1のノーリミット・テキサス・ホールデム・ポーカーにおいて、SoG は最も強力な公開済みエージェントに勝利し、不完全情報環境下での優位性を示した。
• 長期間計画が必要な不完全情報ゲームであるスコットランド・ヤードにおいて、SoG は最先端エージェントを上回った。これは、ガイド付き探索と長期計画の価値を示している。
• 探索可能である小さなゲームにおいて、SoG は低い敵対的利用可能性を示し、近似的にナッシュ均衡に収束する整合性を確認した。
• ハイパーパrameterの設定にかかわらず、性能が安定しており、異なる探索シミュレーションや学習ステップにおいても一貫性を示した。