[论文解读] Diversifying AI: Towards Creative Chess with AlphaZero

Tom Zahavy, Vivek Veeriah+8 more|arXiv (Cornell University)|Aug 17, 2023

Artificial Intelligence in Games被引用 4

一句话总结

该论文提出AZ db，一个基于AlphaZero的多样化AI团队，采用潜在条件化架构与次可加性规划，以增强国际象棋中的创造性问题解决能力。通过促进行为多样性并选择高潜力步法，AZ db在解决复杂国际象棋残局方面表现优于单个Agent的AlphaZero，解决的难题数量翻倍，包括彭罗斯残局，并通过专业化Agent选择机制在开局阶段实现50 Elo的提升。

ABSTRACT

In recent years, Artificial Intelligence (AI) systems have surpassed human intelligence in a variety of computational tasks. However, AI systems, like humans, make mistakes, have blind spots, hallucinate, and struggle to generalize to new situations. This work explores whether AI can benefit from creative decision-making mechanisms when pushed to the limits of its computational rationality. In particular, we investigate whether a team of diverse AI systems can outperform a single AI in challenging tasks by generating more ideas as a group and then selecting the best ones. We study this question in the game of chess, the so-called drosophila of AI. We build on AlphaZero (AZ) and extend it to represent a league of agents via a latent-conditioned architecture, which we call AZ_db. We train AZ_db to generate a wider range of ideas using behavioral diversity techniques and select the most promising ones with sub-additive planning. Our experiments suggest that AZ_db plays chess in diverse ways, solves more puzzles as a group and outperforms a more homogeneous team. Notably, AZ_db solves twice as many challenging puzzles as AZ, including the challenging Penrose positions. When playing chess from different openings, we notice that players in AZ_db specialize in different openings, and that selecting a player for each opening using sub-additive planning results in a 50 Elo improvement over AZ. Our findings suggest that diversity bonuses emerge in teams of AI agents, just as they do in teams of humans and that diversity is a valuable asset in solving computationally hard problems.

研究动机与目标

• 探究多样化AI团队是否能在计算密集型任务（如国际象棋）中超越单个AI Agent。
• 探索受人类认知启发的创造性决策机制是否能提升AI性能。
• 开发一种可扩展的框架，利用强化学习生成并选择多样化、高质量的走法。
• 评估行为多样性与次可加性规划在解决非平凡国际象棋残局中的影响。
• 证明AI团队中的多样性可带来可测量的性能提升，类似于人类团队的动力学。

提出的方法

• AZ db采用潜在条件化架构，每个Agent基于唯一的潜在变量进行条件化，从而实现不同的棋风与行为多样性。
• 训练过程中使用内在多样性奖励，以鼓励Agent探索不同策略并避免冗余行为。
• 推理阶段应用次可加性规划，从多个Agent中选择最具前景的走法，结合其评估结果以提升决策质量。
• Agent通过自对弈进行训练，使用蒙特卡洛树搜索（MCTS）结合先验网络、价值网络与多样性信号。
• 该架构支持动态匹配机制，根据Agent的潜在表征进行配对，以最大化战略多样性。
• 通过精心筛选的挑战集（包括彭罗斯与哈谢克残局）评估残局求解性能，以测试分布外推理能力。

实验结果

研究问题

• RQ1 多样化AI团队是否能在解决复杂国际象棋残局方面超越单个AI Agent？
• RQ2 AI Agent的行为多样性是否能提升其在分布外位置的泛化能力与问题解决能力？
• RQ3 在结合多个多样化Agent时，次可加性规划在多大程度上提升了决策质量？
• RQ4 多样化团队中是否能涌现出专业化Agent？基于开局类型选择这些Agent是否能提升性能？
• RQ5 AI团队中的多样性增益是否与人类团队中观察到的现象类似，特别是在创造性或非平凡问题解决方面？

主要发现

• AZ db解决的难题数量是标准AlphaZero的两倍，包括彭罗斯集中的全部15个残局。
• 通过次可加性规划按开局类型选择专业化Agent，AZ db在等级分上比AlphaZero高出50 Elo。
• AZ db表现出明确的专业化特征，经对局分析确认，各Agent在不同开局中发展出独特优势。
• 多样性增益可被量化：AZ db在残局求解基准测试中优于同质团队与单个Agent的AlphaZero。
• 次可加性规划有效结合了多样化Agent的输出，实现的走法选择质量优于任一单个Agent。
• 团队在分布外残局（如需要长期预防或反直觉牺牲的残局）中的表现，展现出超越标准引擎能力的增强推理能力。