[论文解读] Double Neural Counterfactual Regret Minimization

Hui Li, Kailiang Hu+4 more|arXiv (Cornell University)|Dec 27, 2018

Artificial Intelligence in Games参考文献 13被引用 15

一句话总结

该论文提出双神经反事实遗憾最小化（DNCFR），一种基于深度学习的方法，使用两个神经网络——一个用于追踪累积遗憾，另一个用于表示平均策略——实现在大规模不完美信息博弈中的端到端学习。该方法在收敛性上可与表格型CFR相媲美，同时支持从较差初始策略持续改进，并在极少数据下实现良好泛化。

ABSTRACT

Counterfactual Regret Minimization (CRF) is a fundamental and effective technique for solving Imperfect Information Games (IIG). However, the original CRF algorithm only works for discrete state and action spaces, and the resulting strategy is maintained as a tabular representation. Such tabular representation limits the method from being directly applied to large games and continuing to improve from a poor strategy profile. In this paper, we propose a double neural representation for the imperfect information games, where one neural network represents the cumulative regret, and the other represents the average strategy. Furthermore, we adopt the counterfactual regret minimization algorithm to optimize this double neural representation. To make neural learning efficient, we also developed several novel techniques including a robust sampling method, mini-batch Monte Carlo Counterfactual Regret Minimization (MCCFR) and Monte Carlo Counterfactual Regret Minimization Plus (MCCFR+) which may be of independent interests. Experimentally, we demonstrate that the proposed double neural algorithm converges significantly better than the reinforcement learning counterpart.

研究动机与目标

• 解决在大规模不完美信息博弈（IIGs）中，表格型反事实遗憾最小化（CFR）方法因内存和可扩展性限制而面临的局限性。
• 通过实现端到端优化，克服以往深度强化学习方法在IIGs中对人工特征工程或博弈抽象的依赖。
• 开发一种神经框架，能够同时追踪累积遗憾和平均策略，实现在无需表格表示的情况下收敛至纳什均衡。
• 支持从现有检查点持续改进策略，实现从次优策略出发的迭代优化。
• 证明纯神经方法可在Leduc Hold’em等大规模博弈中达到与表格型CFR相当的性能，从而解决该领域的一个开放性问题。

提出的方法

• 提出双神经架构：一个深度神经网络学习累积遗憾，另一个学习平均策略，两者均通过反事实遗憾最小化进行更新。
• 采用一种新型鲁棒采样方法，在减少方差方面优于结果采样，同时相比外部采样保持更低的内存占用。
• 实现小批量蒙特卡洛反事实遗憾最小化（MCCFR）和MCCFR+，以提升训练效率和稳定性。
• 通过可微分目标函数端到端训练两个网络，最小化遗憾并借助迭代策略平均逼近纳什均衡。
• 采用热启动机制，将神经网络初始化为从现有CFR运行中克隆的表格型遗憾和策略值，以支持持续改进。
• 使用注意力增强的RNN（如带有注意力的LSTM），提升在小批量设置下对未见信息集的泛化能力。

实验结果

研究问题

• RQ1 纯神经端到端方法是否能在大规模不完美信息博弈中达到与表格型CFR相当的性能？
• RQ2 对累积遗憾和平均策略的双神经表示是否能实现与表格方法相当的纳什均衡收敛？
• RQ3 当每次迭代仅访问极小部分节点时，该方法是否能对未见信息集实现有效泛化？
• RQ4 该方法在从现有策略检查点持续改进方面是否有效？
• RQ5 基于注意力的架构是否能提升神经CFR的泛化能力和收敛速度？

主要发现

• 在Leduc Hold’em中，双神经方法在1000次迭代后达到0.02的可被利用性，性能与表格型CFR相当，显著优于NFSP和XFP。
• 仅在每次迭代中观察到3.08%的信息集（b=50）时，该方法仍能在1000次迭代内收敛至可被利用性低于0.1，表现出强大的泛化能力。
• 即使参数极少（嵌入维度为8和16，参数量分别为1048和2608），该方法在压缩性能上仍优于表格型内存，同时保持收敛性。
• 在包含超过2×10^7个状态和3.7×10^6个信息集的大规模博弈中，该方法仅需每次迭代0.53%的节点（b=500）即可收敛，展现出良好的可扩展性。
• 在RNN架构中引入注意力机制（如LSTM+注意力）相比全连接网络、RNN或GRU，能实现更快收敛和更优策略质量。
• 从表格型CFR或RS-MCCFR+热启动，并继续使用双神经方法，可实现持续改进：前10次迭代由表格方法完成，其余由神经学习完成。