[論文レビュー] Evolving winning strategies for Nim-like games

Mihai Oltean|arXiv (Cornell University)|Aug 21, 2021

Artificial Intelligence in Games参考文献 9被引用数 10

ひとこと要約

本稿では、マルチ表現プログラミング（MEP）を用いた進化的アプローチを提案し、ニムに類似したゲームにおける勝ち戦略を自動で発見する。P-ポジション（負け目）またはN-ポジション（勝ち目）としてゲーム状態を分類する数学的式を進化させることで、ニムにおける標準的なXORに基づく勝ち条件を成功裏に学習し、複数の実験的設定において高い成功率を達成した。

ABSTRACT

An evolutionary approach for computing the winning strategy for Nim-like games is proposed in this paper. The winning strategy is computed by using the Multi Expression Programming (MEP) technique - a fast and efficient variant of the Genetic Programming (GP). Each play strategy is represented by a mathematical expression that contains mathematical operators (such as +, -, *, mod, div, and , or, xor, not) and operands (encoding the current game state). Several numerical experiments for computing the winning strategy for the Nim game are performed. The computational effort needed for evolving a winning strategy is reported. The results show that the proposed evolutionary approach is very suitable for computing the winning strategy for Nim-like games.

研究の動機と目的

• 理論的知識に依存せずに、ニムに類似したゲームにおける勝ち戦略を発見するための進化的手法を開発すること。
• 伝統的な遺伝的プログラミングの代替手段として、ゲーム理論におけるシンボリック回帰に高速かつ効率的な手法としてマルチ表現プログラミング（MEP）を適用すること。
• ニムゲームにおけるゲーム状態をP-ポジション（負け目）またはN-ポジション（勝ち目）として正しく分類する数学的式を進化させること。
• 集団サイズ、世代数、および染色体長といった主要なアルゴリズム的パラメータが、戦略発見の成功率に与える影響を評価すること。
• P/N-ポジション理論に基づく他の公平ゲームへも本アプローチの汎用性を示すこと。

提案手法

• 集団内の各個体は、固定長の染色体として表現され、各遺伝子は端末（ゲーム状態変数）または関数（例：+、-、*、xor、mod、and、or、not）をエンコードする。
• MEP表現は、関数の引数をインデックスで参照する線形かつスタックベースの符号化を採用しており、文法的整合性を保ちつつ、1つの染色体に複数の式を効率的に評価可能にする。
• 適応度は、(4,4,4,4)ニムゲームの全70個の固有のゲーム配置がP-またはN-ポジションとして正しく分類されるかどうかの正確性に基づいて割り当てられる。
• 進化的プロセスには二項トーナメント選択、0.9の交差確率、および1染色体あたり2回の変異を用い、多様性を維持するとともに収束を導く。
• 探索は、P-ポジションに対して0、N-ポジションに対して非ゼロを返す式を指向することで、二値分類ターゲットを持つシンボリック回帰問題を効果的に解く。
• ゲームツリーを走査して動的にP/N-ポジションを特定することで、事前にラベル付けされたデータセットの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 グランディ＝スプラーグ理論の事前知識なしに、マルチ表現プログラミングはニムゲームの正しいかつ汎用的な勝ち戦略を進化させることができるか？
• RQ2 集団サイズ、世代数、および染色体長は、勝ち戦略の発見成功率にどのように影響するか？
• RQ3 進化した式は、既知のXORベースの解法と一致するか、それ以上の一般化を達成できるか？
• RQ4 P/N-ポジション構造を持つ他の公平ゲームに対しても、MEPベースのアプローチはスケーラブルで効果的か？
• RQ5 理論的解が事前に不明な組合せゲームにおいて、進化的計算がシンボリックルールをどの程度発見できるか？

主な発見

• 集団サイズ140の場合、50回の実行のうち37回が成功し、集団サイズと成功確率の間に強い正の相関があることが示された。
• 100世代経過後、50回の実行のうち41回が勝ち戦略を正常に発見した。これは、標準設定下での高い収束安定性を示している。
• 最適な染色体長は35遺伝子と判明し、50回中25回が成功した。これは、式の複雑さと探索効率のトレードオフを示している。
• MEPは、$a_1 \text{ xor } a_2 \text{ xor } a_3 - a_4$ といった代替の正しい数式を効果的に進化させた。これはXOR演算子の性質により数学的に妥当である。
• 最小構成（例：20個体）でも高い成功率を達成したため、小規模な探索空間においても本手法のロバスト性と効率性が示された。
• 本手法は、P/N-ポジション分類に依存する他の公平ゲームへも汎用可能である。ゲームツリー走査と状態評価の背後にある論理は、容易に移植可能である。