[论文解读] Learning opening books in partially observable games: using random seeds in Phantom Go

Tristan Cazenave, Jialin Liu+2 more|arXiv (Cornell University)|Jul 8, 2016

Artificial Intelligence in Games参考文献 22被引用 5

一句话总结

本论文提出在部分可观察游戏中对随机种子进行优化，以提升随机化人工智能的性能。实验表明，通过选择高性能种子或在种子分布上计算纳什均衡，可显著提升幽灵围棋（Phantom Go）中的表现。将BestSeed与基于纳什的种子选择方法应用于开局书学习后，模型在5x5棋盘上对基线AI的胜率从50%提升至70%；在5x5、7x7和9x9棋盘上对更强对手的胜率则从接近0%提升至40%。

ABSTRACT

Many artificial intelligences (AIs) are randomized. One can be lucky or unlucky with the random seed; we quantify this effect and show that, maybe contrarily to intuition, this is far from being negligible. Then, we apply two different existing algorithms for selecting good seeds and good probability distributions over seeds. This mainly leads to learning an opening book. We apply this to Phantom Go, which, as all phantom games, is hard for opening book learning. We improve the winning rate from 50% to 70% in 5x5 against the same AI, and from approximately 0% to 40% in 5x5, 7x7 and 9x9 against a stronger (learning) opponent.

研究动机与目标

• 为解决在部分可观察游戏中学习有效开局书的挑战，此类游戏中信念状态估计困难，传统方法失效。
• 探究随机种子选择是否能显著提升随机化AI在具有隐藏信息的游戏（如幽灵围棋）中的性能。
• 评估并比较不同的种子优化策略——BestSeed、纳什均衡与稀疏纳什——以增强人工智能的鲁棒性与性能。
• 证明离线种子优化不产生在线计算开销，因此可作为现有随机化AI的可扩展且高效的性能增强手段。
• 展示该方法具有良好的泛化能力，尤其在面对更强对手时，通过种子分布学习可构建稳健的开局书策略。

提出的方法

• 该方法使用一组随机种子来采样确定性策略，将每个种子视为博弈论框架中的纯策略。
• 对于BestSeed方法，算法通过在K场比赛中对K组种子进行完整评估，选择使对基线AI表现最优的单一种子。
• 对于纳什方法，基于K个种子之间的两两对局结果构建K×K收益矩阵，并通过线性规划计算种子上的纳什均衡分布。
• 采用稀疏纳什方法的变体，使用稀疏参数α=0.75，在降低计算成本的同时保持强劲性能。
• 所有实验均采用交叉验证与适当的统计评估，结果以对基线AI和更强对手AI的胜率形式报告。
• 该方法应用于幽灵围棋（Phantom Go）——一种具有挑战性的部分可观察游戏，玩家无法看到对手的走法或参考棋盘，需依赖蒙特卡洛模拟与隐藏状态的随机确定化。

实验结果

研究问题

• RQ1 尽管普遍认为种子影响可忽略，但随机种子选择是否能显著提升随机化AI在部分可观察游戏中的性能？
• RQ2 与通过纳什均衡学习种子分布相比，BestSeed方法在选择单一高性能种子方面效果如何？
• RQ3 通过纳什均衡学习种子分布，是否能比基线算法更有效地泛化至更强对手？
• RQ4 纳什策略分布中的稀疏性在多大程度上提升了计算效率，同时不牺牲性能？
• RQ5 离线种子优化是否可有效应用于具有隐藏信息的游戏，其中传统开局书学习方法不可行？

主要发现

• BestSeed方法在5x5幽灵围棋中对基线AI的胜率提升至71%，较原始的50%有显著提高，证明了种子优化的有效性。
• 基于纳什的方法在5x5、7x7和9x9棋盘上，对更强对手（K′=16）的胜率从约0%提升至40%，展现出强大的鲁棒性。
• 采用α=0.75的稀疏纳什方法在所有棋盘尺寸（5x5、7x7、9x9）中均优于基线，证实其在策略空间缩减的情况下仍具有效性。
• 该方法不产生任何在线计算开销，因所有优化均在离线阶段完成，可作为现有随机化AI的“免费增益”。
• 与BestSeed相比，纳什方法更不易过拟合，因其在面对更强对手时仍保持强劲表现，而BestSeed在基线对手上表现更优。
• 结果表明，随机种子选择并非可忽略，而可系统性地用于提升幽灵围棋等具有挑战性的部分可观察游戏中人工智能的性能。