[論文レビュー] Learning opening books in partially observable games: using random seeds in Phantom Go

Tristan Cazenave, Jialin Liu+2 more|arXiv (Cornell University)|Jul 8, 2016

Artificial Intelligence in Games参考文献 22被引用数 5

ひとこと要約

本稿では、部分的に観測可能なゲームにおけるランダムシードの最適化を提案し、高性能なシードの選択、もしくはシード分布上のナッシュ均衡の計算によって、 Phantom Go における性能が顕著に向上することを実証している。BestSeedおよびナッシュに基づくシード選択を学習済みオープニングブックに適用することで、5x5 の盤上でベースラインAIに対して勝率が50%から70%に上昇し、5x5、7x7、9x9の盤上でより強力な相手に対しては、ほぼ0%から40%に上昇した。

ABSTRACT

Many artificial intelligences (AIs) are randomized. One can be lucky or unlucky with the random seed; we quantify this effect and show that, maybe contrarily to intuition, this is far from being negligible. Then, we apply two different existing algorithms for selecting good seeds and good probability distributions over seeds. This mainly leads to learning an opening book. We apply this to Phantom Go, which, as all phantom games, is hard for opening book learning. We improve the winning rate from 50% to 70% in 5x5 against the same AI, and from approximately 0% to 40% in 5x5, 7x7 and 9x9 against a stronger (learning) opponent.

研究の動機と目的

• 信念状態推定が困難で、従来の手法が失敗する部分的に観測可能なゲームにおける効果的なオープニングブックの学習という課題に対処すること。
• 特に隠れた情報を持つゲーム、例えば Phantom Go のような状況において、ランダムシードの選択がランダム化AIの性能を顕著に向上させ得るかどうかを調査すること。
• AIの頑健性と性能を向上させるために、異なるシード最適化戦略（BestSeed、ナッシュ均衡、スパースナッシュ）を評価・比較すること。
• オフラインでのシード最適化がオンライン計算コストを一切発生させないため、スケーラブルで効率的な性能向上手段であることを示すこと。
• 特に強力な相手に対して一般化しやすいこと、すなわち、シード分布学習を通じて頑健なオープニングブック戦略を学習できることを示すこと。

提案手法

• 本手法は、ランダムシードのポートフォリオを用いて決定的ポリシーをサンプリングし、ゲーム理論的枠組みにおいて各シードを純戦略として扱う。
• BestSeedでは、Kゲームの全評価を通じてベースラインAIに対する性能を最大化するシードを、K個のシードの中から選択する。
• ナッシュアプローチでは、K個のシード同士の対戦結果からK×Kのペイオフ行列を構築し、線形計画法によりシード上のナッシュ均衡分布を計算する。
• 計算コストを削減しつつも高い性能を維持するため、スパースナッシュの変種をα=0.75のスパarsityパラメータを用いて適用する。
• すべての実験では交差検証と適切な統計的評価が行われ、結果はベースラインAIおよびより強力な相手AIに対する勝率として報告されている。
• 本手法は、プレイヤーが相手の手や基準盤を確認できないため、モンテカルロプレイアウトに伴う隠れた状態の確率的決定化が必要な、挑戦的な部分的に観測可能なゲーム、Phantom Go に適用されている。

実験結果

リサーチクエスチョン

• RQ1 一般的にシードの影響は無視できるとされるが、部分的に観測可能なゲームにおけるランダム化AIの性能向上に、ランダムシードの選択が顕著に寄与するのか？
• RQ2 ナッシュ均衡によるシード分布の学習と比較して、単一の高性能シードをBestSeedが選択する方法は、どれほど効果的か？
• RQ3 ナッシュ均衡によるシード分布の学習は、ベースラインアルゴリズムと比較して、より強力な相手に対して一般化性能を向上させるのか？
• RQ4 ナッシュ戦略分布におけるスパarsityは、性能を犠牲にすることなく、計算効率をどの程度向上させるのか？
• RQ5 従来のオープニングブック学習が非効率な、隠れた情報を持つゲームに対しても、オフラインでのシード最適化は効果的に適用可能か？

主な発見

• BestSeed法は、5x5のPhantom GoにおいてベースラインAIに対して71%の勝率を達成し、50%から上昇した。これは、シード最適化による顕著な性能向上を示している。
• ナッシュに基づくアプローチは、5x5、7x7、9x9の盤上で、より強力な相手（K′=16）に対して勝率を約0%から40%に向上させ、高い頑健性を示した。
• α=0.75を用いたスパースナッシュアプローチは、5x5、7x7、9x9の全盤サイズでベースラインを上回り、制限された戦略空間でも有効であることを確認した。
• すべての最適化がオフラインで行われるため、本手法はオンライン計算コストを一切発生させない。したがって、既存のランダム化AIに対して「無料のボーナス」として適用可能である。
• ナッシュアプローチはBestSeedよりも過学習のリスクが低く、より強力な相手に対して安定した性能を維持している。一方、BestSeedはベースライン相手に対してはより効果的である。
• 結果から、ランダムシードの選択が無視できるものではなく、Phantom Go などの挑戦的な部分的に観測可能なゲームにおいて、AI性能を体系的に向上させるために活用可能であることが示された。