[論文レビュー] Real World Games Look Like Spinning Tops

Wojciech Marian Czarnecki, Gauthier Gidel+5 more|arXiv (Cornell University)|Apr 20, 2020

Artificial Intelligence in Games参考文献 34被引用数 11

ひとこと要約

本稿では、現実世界のゲームが垂直軸に推移的強さを、径方向軸に周期的で非推移的なダイナミクスを有する「回転するトーパーズ」幾何構造を示すと提唱する。ナッシュクラスタリングと9つのゲームにおける実証的分析を用いて、この幾何構造が自然に出現し、特に集団サイズが臨界閾値を超えると、このようなゲームにおける収束のための集団ベースの訓練が不可欠であることを示している。

ABSTRACT

This paper investigates the geometrical properties of real world games (e.g. Tic-Tac-Toe, Go, StarCraft II). We hypothesise that their geometrical structure resemble a spinning top, with the upright axis representing transitive strength, and the radial axis, which corresponds to the number of cycles that exist at a particular transitive strength, representing the non-transitive dimension. We prove the existence of this geometry for a wide class of real world games, exposing their temporal nature. Additionally, we show that this unique structure also has consequences for learning - it clarifies why populations of strategies are necessary for training of agents, and how population size relates to the structure of the game. Finally, we empirically validate these claims by using a selection of nine real world two-player zero-sum symmetric games, showing 1) the spinning top structure is revealed and can be easily re-constructed by using a new method of Nash clustering to measure the interaction between transitive and cyclical strategy behaviour, and 2) the effect that population size has on the convergence in these games.

研究の動機と目的

• ゴーやStarCraft II、DOTA 2といった人間が関与する現実世界のゲームに共通する幾何的構造を同定すること。
• 「スキルのゲーム」仮説を形式化し、これらのゲームが推移的強さと周期的ダイナミクスを併せ持つ回転するトーパーズ幾何構造を有することを提唱すること。
• 現実世界のゲームに長周期が存在することを理論的・実証的に検証し、学習ダイナミクスと関連付けること。
• このようなゲームにおける収束のための集団ベースの訓練手法がなぜ必要不可欠であるかを、ナッシュクラスターカバーの観点から説明すること。
• 古典的ゲーム理論のゲーム（例：ブロットゲーム）とは異なり、この幾何的構造を持たない点を区別すること。

提案手法

• 垂直軸に推移的強さ、径方向軸に非推移的サイクルを有する回転するトーパーズとしての現実世界のゲームの幾何的モデルを提唱する。
• ナッシュクラスタリングを導入し、推移的および周期的戦略行動の間の相互作用を測定することで、回転するトーパーズ構造の再構築を可能にする。
• エージェント集団の実証的サンプリングを用いて現実世界のゲームを近似し、集団サイズの変動に伴う収束を評価する。
• 現在の集団を上回る戦略を選択する悲観的オラクルベースの学習アルゴリズムを適用し、貪欲な強化学習を模擬する。
• 理論的分析により、n手のゲーム（すべての研究対象の現実世界のゲームを含む）に極めて長いサイクルが存在することを証明する。
• 現実世界のゲームと非現実世界のゲーム（例：ブロットゲーム）の間で結果を比較し、スキルのゲームに特有の幾何的構造を検証する。

実験結果

リサーチクエスチョン

• RQ1 チックタックトゥー、ゴー、StarCraft IIといった現実世界のゲームは、推移的強さと周期的ダイナミクスを併せ持つ回転するトーパーズ幾何構造を示すか？
• RQ2 ナッシュクラスタリングとエージェント集団のサンプリングを用いて、回転するトーパーズ幾何構造を実証的に再構築できるか？
• RQ3 現実世界のゲームにおける集団サイズと学習の収束の関係は何か？
• RQ4 なぜ集団ベースの訓練手法は現実世界のゲームでは成功するが、特定の古典的ゲーム理論ゲームでは失敗するのか？
• RQ5 弱い戦略領域に存在する長周期が、多様な戦略集団の必要性にどのように影響するか？

主な発見

• 回転するトーパーズ幾何構造は、ゴー（3×3）、チックタックトゥー、StarCraft IIを含む、テストされた9つの現実世界の2人零和対称ゲームすべてで実証的に観察された。
• ナッシュクラスターサイズは中程度の推移的強さでピークに達し、高・低の両極で減少し、幾何構造のトーパーズ型の形状が確認された。
• 現実世界のゲームでは、小規模な集団での訓練では持続的なサイクリングが生じるが、集団サイズが臨界閾値を超えると収束が達成される。
• 一方、非現実世界のゲーム（例：ブロットゲーム）では、高レベルのスキルでナッシュクラスターサイズが増加し、回転するトーパーズ構造を示さない。
• 完全に推移的なゲームであるEloゲームは、集団サイズが1であっても収束するため、単調な進行は集団の多様性を要しないことが確認された。
• 理論的結果により、n手のゲームに極めて長いサイクルが存在することが証明され、学習における多様な戦略集団の必要性が説明された。