[论文解读] Depth-Limited Solving for Imperfect-Information Games

Noam Brown, Tüomas Sandholm+1 more|arXiv (Cornell University)|May 21, 2018

Artificial Intelligence in Games参考文献 34被引用 28

一句话总结

本文提出了一种在不完美信息博弈中进行深度限制求解的合理方法，通过允许对手在深度限制处从多种策略中选择，确保对对手策略适应的鲁棒性。该方法使一台仅使用4核CPU和16 GB内存的顶级无注额德州扑克AI击败了先前的顶尖智能体，展示了相较于以往需要超级计算机的方案实现数量级的效率提升。

ABSTRACT

A fundamental challenge in imperfect-information games is that states do not have well-defined values. As a result, depth-limited search algorithms used in single-agent settings and perfect-information games do not apply. This paper introduces a principled way to conduct depth-limited solving in imperfect-information games by allowing the opponent to choose among a number of strategies for the remainder of the game at the depth limit. Each one of these strategies results in a different set of values for leaf nodes. This forces an agent to be robust to the different strategies an opponent may employ. We demonstrate the effectiveness of this approach by building a master-level heads-up no-limit Texas hold'em poker AI that defeats two prior top agents using only a 4-core CPU and 16 GB of memory. Developing such a powerful agent would have previously required a supercomputer.

研究动机与目标

• 解决不完美信息博弈中的深度限制求解挑战，因为隐藏信息和对手策略依赖性导致传统值替换方法失效。
• 克服在大型序贯博弈（如无注额德州扑克）中为早期子博弈预计算细粒度策略的计算不可行性。
• 开发一种可扩展的、实时的深度限制求解技术，避免对大规模预计算或超级计算机规模资源的依赖。
• 在不依赖昂贵的预计算均衡策略或联合信念状态映射的情况下，实现不完美信息博弈中的强性能。

提出的方法

• 在深度限制处，不为叶节点分配单一值，而是允许对手从一组候选策略中选择剩余游戏的策略。
• 每个对手策略选择会导致叶节点的值不同，迫使智能体对所有此类策略都具备鲁棒性。
• 智能体将子博弈求解为将对手选择视为具有多个可能结果的决策点，每个结果对应一个不同的策略组合。
• 该方法使用函数逼近技术将游戏状态映射到一组值（每个对手策略对应一个），从而实现高效评估，而无需在每次策略更新后重新计算值。
• 通过直接建模对固定蓝图策略的最佳响应，避免联合信念状态表示，降低输入维度和计算成本。
• 该方法支持迭代求解且仅需极少重新计算，因为叶节点值仅依赖于状态和固定的对手策略集合，而不依赖于子博弈策略的演化。

实验结果

研究问题

• RQ1 能否使不完美信息博弈中的深度限制求解对深度限制处对手策略适应具有鲁棒性，而非假设其策略固定？
• RQ2 是否可以通过用实时深度限制求解替代预计算策略，在仅使用适度计算资源的情况下实现无注额德州扑克的超人类表现？
• RQ3 与联合信念状态值映射相比，多值状态方法在计算成本和可扩展性方面表现如何？
• RQ4 在多值状态上训练的函数逼近器能否高效且准确地替代子博弈中昂贵的均衡计算？
• RQ5 在深度处允许对手从多种策略中选择，是否相比单值替换能提升可被利用性并增强鲁棒性？

主要发现

• 所提出的深度限制求解方法使一台顶级水平的AI在仅使用4核CPU和16 GB内存的情况下，击败了两名先前的顶尖智能体，展示了计算需求的极大降低。
• 尽管计算资源比先前预计算策略AI少几个数量级，该方法仍实现了更强的性能。
• 该方法表现出极低的可被利用性，表明对对手策略适应具有鲁棒性，并具备强大的战略一致性。
• 在多值状态上使用函数逼近的效率远高于联合信念状态映射，计算量低于1,000核心小时，而DeepStack则超过100万核心小时。
• 该方法在子博弈复杂度增加时表现出良好可扩展性，计算成本随考虑的对手策略数量线性增长，而联合信念状态方法因输入维度更高而增长更快。
• 该方法避免了每次策略更新后重新计算叶节点值，从而实现实时高效迭代求解。