[论文解读] Single Deep Counterfactual Regret Minimization

Eric Steinberger|arXiv (Cornell University)|Jan 22, 2019

Artificial Intelligence in Games参考文献 30被引用 13

一句话总结

本文提出单次深度反事实遗憾最小化（SD-CFR），一种深度CFR的变体，通过直接使用过往迭代中的价值网络来计算最终策略，消除了对独立平均策略网络的需求。SD-CFR降低了近似误差和训练复杂度，在扑克游戏中实现了更快的收敛速度和更低的可被利用性，相较于深度CFR表现更优。

ABSTRACT

Counterfactual Regret Minimization (CFR) is the most successful algorithm for finding approximate Nash equilibria in imperfect information games. However, CFR's reliance on full game-tree traversals limits its scalability. For this reason, the game's state- and action-space is often abstracted (i.e. simplified) for CFR, and the resulting strategy is then translated back to the full game, which requires extensive expert-knowledge and often converges to highly exploitable policies. A recently proposed method, Deep CFR, applies deep learning directly to CFR, allowing the agent to intrinsically abstract and generalize over the state-space from samples, without requiring expert knowledge. In this paper, we introduce Single Deep CFR (SD-CFR), a simplified variant of Deep CFR that has a lower overall approximation error by avoiding the training of an average strategy network. We show that SD-CFR is more attractive from a theoretical perspective and empirically outperforms Deep CFR with respect to exploitability and one-on-one play in poker.

研究动机与目标

• 为解决深度CFR依赖独立平均策略网络所导致的高近似误差和训练低效问题。
• 开发一种在大规模不完美信息博弈中更具理论依据且实证有效的策略学习方法。
• 实现在不依赖专家设计的抽象或完整博弈树遍历的前提下，端到端的深度强化学习。
• 提升在具有大规模或连续动作空间的游戏中的泛化能力与可扩展性。

提出的方法

• SD-CFR用单一价值网络替代深度CFR的双网络架构，直接近似反事实值。
• 通过在迭代过程中对价值网络输出进行平均来计算最终策略，从而避免使用独立的平均策略网络。
• 使用回放缓冲区存储过往迭代中价值网络的预测结果，实现高效的策略聚合。
• 采用基于采样的树遍历方法估算反事实遗憾，使模型能够泛化到未见过的状态。
• 算法使用单一神经网络同时近似价值与策略，降低模型复杂度与误差传播。
• 最终策略通过归一化价值网络提供的优势估计获得，动作选择基于对连续动作区间的集成策略。

实验结果

研究问题

• RQ1 在深度CFR中移除平均策略网络是否能降低整体近似误差，并改善不完美信息博弈中的收敛性？
• RQ2 在一对一德州扑克对战中，SD-CFR相较于深度CFR在可被利用性和性能表现上如何？
• RQ3 单一价值网络能否有效同时近似反事实值与最终策略，从而避免额外的函数逼近？
• RQ4 与先前的深度CFR变体相比，SD-CFR在大规模或连续动作空间上的泛化能力是否更优？
• RQ5 由于减少了误差累积，SD-CFR的理论收敛性是否优于深度CFR？

主要发现

• 在一对一无注额德州扑克中，SD-CFR展现出显著低于深度CFR的可被利用性，表明其策略更具鲁棒性且更难被利用。
• SD-CFR在训练过程中收敛更快且方差更低，该结果在多次迭代训练中得到验证。
• 在一对一对战中，SD-CFR的表现优于深度CFR，对基线智能体展现出更强的对抗性能。
• SD-CFR通过避免训练独立的平均策略网络，显著降低了整体近似误差，而该网络正是深度CFR中主要的误差来源。
• 即使在博弈树的深层区域，SD-CFR仍能保持强劲性能，而深度CFR在经过多个决策点后的信息集处表现出更大的误差。
• SD-CFR能有效泛化到未见过的状态，证明了直接利用价值网络进行策略学习的优势。