[论文解读] Assessing Game Balance with AlphaZero: Exploring Alternative Rule Sets in Chess

Nenad Tomašev, Ulrich Paquet+2 more|arXiv (Cornell University)|Sep 9, 2020

Artificial Intelligence in Games参考文献 16被引用 12

一句话总结

本文使用AlphaZero探索并评估九种规则微调的国际象棋变体的游戏平衡性，例如允许自吃子或改变棋子移动规则。通过在每种变体上从零开始训练AlphaZero，研究揭示了动态的新战略模式，证明了在新规则下棋子价值发生变化，并表明多个变体的对局结果比古典国际象棋更具决定性，凸显了规则创新在游戏设计中的潜力。

ABSTRACT

It is non-trivial to design engaging and balanced sets of game rules. Modern chess has evolved over centuries, but without a similar recourse to history, the consequences of rule changes to game dynamics are difficult to predict. AlphaZero provides an alternative in silico means of game balance assessment. It is a system that can learn near-optimal strategies for any rule set from scratch, without any human supervision, by continually learning from its own experience. In this study we use AlphaZero to creatively explore and design new chess variants. There is growing interest in chess variants like Fischer Random Chess, because of classical chess's voluminous opening theory, the high percentage of draws in professional play, and the non-negligible number of games that end while both players are still in their home preparation. We compare nine other variants that involve atomic changes to the rules of chess. The changes allow for novel strategic and tactical patterns to emerge, while keeping the games close to the original. By learning near-optimal strategies for each variant with AlphaZero, we determine what games between strong human players might look like if these variants were adopted. Qualitatively, several variants are very dynamic. An analytic comparison show that pieces are valued differently between variants, and that some variants are more decisive than classical chess. Our findings demonstrate the rich possibilities that lie beyond the rules of modern chess.

研究动机与目标

• 探究国际象棋中微小规则变化对游戏平衡与动态的影响。
• 评估AlphaZero是否可作为自动化工具，用于评估多样化规则集下的游戏平衡性。
• 识别具有更高可玩性且减少对开局理论依赖的新型国际象棋变体。
• 分析在不同规则集下棋子价值与战略复杂性的变化。
• 证明利用强化学习探索创造性游戏设计空间的可行性。

提出的方法

• 使用自我对弈强化学习，从零开始在九种修改后的国际象棋变体上训练AlphaZero。
• 每种变体引入单一规则变更，例如允许自吃子、改变兵的移动方式或修改将死条件。
• 训练过程不依赖人类数据或先验对局知识，完全依赖自我对弈与蒙特卡洛树搜索。
• 通过风格特征的定性评估与对局结果（如对局时长和胜率）的定量比较，分析对局动态。
• 基于高水平对局中的平均材料得失，重新评估棋子价值。
• 通过详细分析AlphaZero自我对弈对局中的棋局状态，识别并分析自吃子模式。

实验结果

研究问题

• RQ1 国际象棋中的微小规则变化如何影响游戏的战略深度与平衡性？
• RQ2 AlphaZero能否在无人监督的情况下，有效学习新型规则集下的近似最优策略？
• RQ3 哪些规则变体相比古典国际象棋能产生更具决定性与动态性的对局？
• RQ4 在不同规则集下，棋子价值如何变化，这对游戏平衡意味着什么？
• RQ5 在替代规则变体中，诸如自吃子等新型战术模式如何涌现？

主要发现

• 多个变体，尤其是允许自吃子的变体，相比古典国际象棋产生显著更具动态性与决定性的对局。
• 自吃子模式在高水平对局中成为核心战术主题，既可作为进攻手段也可作为防守策略。
• 棋子价值在不同变体中发生显著变化：例如，在自吃子变体中，主教与马通常更具价值，因其活动性增强。
• 允许自吃子的变体带来更均衡且更具战略性的残局，动态的子力活动可弥补物质不平衡。
• AlphaZero在古典国际象棋中可能为和局的变体中持续获胜，表明游戏平衡性得到改善，结果熵值降低。
• 本研究识别出多个可行的国际象棋变体，其对开局理论依赖减少，且由于更高的不确定性与战术丰富性，娱乐价值更高。