[论文解读] Strategic Features for General Games

Cameron Browne, Dennis J. N. J. Soemers+1 more|arXiv (Cornell University)|Jan 4, 2021

Artificial Intelligence in Games参考文献 16被引用 11

一句话总结

本文提出了一种轻量级、与几何无关的几何棋子特征，以通过偏向具有战略意义的着法来提升通用游戏中蒙特卡洛树搜索（MCTS）的性能。该方法基于从游戏描述中提取的模式化特征，实现了跨游戏的可迁移性，提升了AI强度，并以人类可理解的术语提供可解释的策略。

ABSTRACT

This short paper describes an ongoing research project that requires the automated self-play learning and evaluation of a large number of board games in digital form. We describe the approach we are taking to determine relevant features, for biasing MCTS playouts for arbitrary games played on arbitrary geometries. Benefits of our approach include efficient implementation, the potential to transfer learnt knowledge to new contexts, and the potential to explain strategic knowledge embedded in features in human-comprehensible terms.

研究动机与目标

• 开发一种可扩展的方法，用于评估和改进古代及传统策略游戏规则集的重构。
• 使Ludii通用游戏系统能够学习并以接近人类水平的竞技能力游玩数千款传统游戏。
• 识别并编码轻量级、可迁移的特征，适用于多种棋盘几何结构和规则集。
• 通过将学习到的特征与游戏组件中的 ludemic 概念关联，支持可解释的人工智能，使其与人类可理解的战略概念相联系。
• 构建一个系统化的自动化特征生成框架，同时支持性能提升与战略解释。

提出的方法

• 将特征定义为几何图案（使用符号元素如'.'、'o'、'x'、'P n'、'I n'和'!'表示否定）与鼓励或抑制的动作的组合。
• 通过组合最小必要图案（例如空的'to'位置）与游戏特定的 ludemic 描述来生成候选特征，确保结构一致性。
• 使用特征偏向的自对弈MCTS来评估和优化特征集，避免采用在随机对手上进行穷举模式挖掘等无效方法。
• 利用 ludemic 模型——其中每个游戏组件均为命名的Java类——将特征映射回游戏规则，实现战略知识在不同游戏间的跨游戏迁移。
• 采用与智能MCTS对手进行迭代评估作为特征质量的黄金标准，而非依赖随机或启发式基线。
• 使用特征模式编码简单策略（如形成四子连线、避免三子成行），并探索反向工程以生成自然语言解释。

实验结果

研究问题

• RQ1 如何自动生成轻量级、与几何无关的特征，以提升通用游戏中MCTS的性能？
• RQ2 从 ludemic 游戏描述中提取的特征在不同游戏和棋盘几何结构之间可迁移的程度如何？
• RQ3 学习到的特征能否编码并解释人类可理解的战略概念，如“组成三子组”或“避免三子成行”？
• RQ4 何种评估策略可确保特征集真正提升AI性能，而非引发非预期行为？
• RQ5 如何利用 ludeme 与学习特征之间的关系，实现可解释战略知识的反向工程？

主要发现

• 特征偏向的MCTS在连接类游戏（如Hex和Y）中显著提升了AI的对弈强度，尤其在优先考虑关键模式（如桥接完成）时效果更明显。
• 几何棋子模式（使用符号元素如'o'（友方）、'x'（敌方）和'!'（否定）定义）能有效编码战略知识，且与棋盘拓扑结构无关。
• 基于 ludemic 游戏描述生成的候选特征集为特征生成提供了强有力的起点，显著缩小了搜索空间并提升了相关性。
• 监督学习或穷举模式挖掘方法被证明无效，因其在面对智能对手时表现出不可预测的行为，因此必须以MCTS基线作为评估基准。
• 特征可映射为自然语言战略概念，如“形成四子连线”或“避免组成三子组”，从而在通用游戏AI中实现可解释性。
• ludemic 模型支持在相关游戏间系统性地迁移特征，特征模式可直接关联到命名的游戏组件（如'P2'表示玩家2的棋子），从而增强可解释性。