[論文レビュー] Assessing Game Balance with AlphaZero: Exploring Alternative Rule Sets in Chess

Nenad Tomašev, Ulrich Paquet+2 more|arXiv (Cornell University)|Sep 9, 2020

Artificial Intelligence in Games参考文献 16被引用数 12

ひとこと要約

この論文では、自己捕食の許可や駒の動きの変更といった小さなルール変更を加えた9つのチェス変則ゲームについて、AlphaZeroを用いて探索的・評価的分析が行われた。各変則ゲームに対してAlphaZeroを再訓練することで、動的な戦略的パターンが明らかになり、新しいルール下で駒の価値が変化することが示され、古典的チェスよりも決定的でより戦略的な結果が得られる変則ゲームが複数存在することが判明した。これは、ゲームデザインにおけるルールの革新の可能性を示している。

ABSTRACT

It is non-trivial to design engaging and balanced sets of game rules. Modern chess has evolved over centuries, but without a similar recourse to history, the consequences of rule changes to game dynamics are difficult to predict. AlphaZero provides an alternative in silico means of game balance assessment. It is a system that can learn near-optimal strategies for any rule set from scratch, without any human supervision, by continually learning from its own experience. In this study we use AlphaZero to creatively explore and design new chess variants. There is growing interest in chess variants like Fischer Random Chess, because of classical chess's voluminous opening theory, the high percentage of draws in professional play, and the non-negligible number of games that end while both players are still in their home preparation. We compare nine other variants that involve atomic changes to the rules of chess. The changes allow for novel strategic and tactical patterns to emerge, while keeping the games close to the original. By learning near-optimal strategies for each variant with AlphaZero, we determine what games between strong human players might look like if these variants were adopted. Qualitatively, several variants are very dynamic. An analytic comparison show that pieces are valued differently between variants, and that some variants are more decisive than classical chess. Our findings demonstrate the rich possibilities that lie beyond the rules of modern chess.

研究の動機と目的

• チェスにおける小さなルール変更がゲームバランスやダイナミクスに与える影響を調査すること。
• AlphaZeroが多様なルールセットにおいてゲームバランスを自動評価するツールとして機能できるかを評価すること。
• オープニング理論への依存が少なく、遊びやすさが向上した新しいチェス変則ゲームを特定すること。
• 代替ルールセット下での駒の評価値の変化と戦略的複雑性の変化を分析すること。
• 強化学習を用いて創造的ゲームデザインの可能性を探る手法の妥当性を示すこと。

提案手法

• 9つの変則チェスゲームの各々に対して、自己対戦強化学習を用いてAlphaZeroを再訓練する。
• 各変則ゲームでは、自己捕食の許可、歩の動きの変更、チェックメイト条件の変更といった単一のルール変更が導入されている。
• 人間のデータや事前のゲーム知識を一切使用せず、自己対戦とモンテカルロ木探索に依存して訓練が行われる。
• 戦い方の質的評価と、ゲーム長や勝率といった定量的比較を通じて、ゲームのダイナミクスが分析される。
• 高水準のゲームにおける平均的な物資の獲得・喪失に基づき、駒の価値が再評価される。
• AlphaZeroの自己対戦ゲームの詳細なゲーム状態の分析を通じて、自己捕食の戦術的パターンが同定・分析される。

実験結果

リサーチクエスチョン

• RQ1 チェスにおける小さなルール変更が、戦略的深さとゲームバランスにどのように影響を与えるか？
• RQ2 人間の指導なしに、AlphaZeroが新規ルールセットに対して近似的最適戦略を効果的に学習できるか？
• RQ3 古典的チェスと比較して、どのルール変則ゲームがより決定的かつダイナミックな戦い方を生み出すか？
• RQ4 異なるルールセット下で駒の評価値がどのように変化するか、そしてゲームバランスにどのような示唆をもたらすか？
• RQ5 代替ルール変則ゲームでは、自己捕食のような新たな戦術的パターンがどのように顕在化するか？

主な発見

• 特に自己捕食を許可する変則ゲームでは、古典的チェスと比較してはるかにダイナミックで決定的なゲームが生まれる。
• 自己捕食の戦術的パターンが中心的な戦術的テーマとして顕在し、高水準の戦いでは攻撃的・防御的両方の目的で用いられる。
• 駒の評価値は複数の変則ゲームで顕著に変化する。例えば、自己捕食を許可するゲームでは、ビショップやナイトの価値が活発な動きにより高くなる傾向がある。
• 自己捕食を許可する変則ゲームでは、物資の不均衡を補うために動的な駒の活動が活発になり、よりバランスの取れた戦いの終わりに至る。
• 古典的チェスでは引き分けに終わるゲームでも、AlphaZeroは常に勝利するため、結果のエントロピーが低下し、ゲームバランスが向上していることが示された。
• 本研究では、オープニング理論への依存が少なく、不確実性と戦術的豊かさが増したため、エンターテインメント価値の高い複数の実用的チェス変則ゲームが同定された。