[论文解读] Combining Deep Reinforcement Learning and Search for Imperfect-Information Games

Noam Brown, Anton Bakhtin+2 more|arXiv (Cornell University)|Jul 27, 2020

Artificial Intelligence in Games参考文献 54被引用 62

一句话总结

本论文提出 ReBeL，一种用于两人零和不完美信息博弈的自对弈 RL+搜索框架，收敛到纳什均衡并在扑克上实现超越人类的表现，同时所需领域知识更少。

ABSTRACT

The combination of deep reinforcement learning and search at both training and test time is a powerful paradigm that has led to a number of successes in single-agent settings and perfect-information games, best exemplified by AlphaZero. However, prior algorithms of this form cannot cope with imperfect-information games. This paper presents ReBeL, a general framework for self-play reinforcement learning and search that provably converges to a Nash equilibrium in any two-player zero-sum game. In the simpler setting of perfect-information games, ReBeL reduces to an algorithm similar to AlphaZero. Results in two different imperfect-information games show ReBeL converges to an approximate Nash equilibrium. We also show ReBeL achieves superhuman performance in heads-up no-limit Texas hold'em poker, while using far less domain knowledge than any prior poker AI.

研究动机与目标

• 动机：在不完美信息博弈中引入 RL+Search 的必要性，并解决以往方法中缺失的收敛性问题。
• 开发一个通用框架（ReBeL），将状态扩展为公共信念状态（PBS）并在理论保证下实现 RL+Search。
• 在大规模不完美信息博弈和扑克基准测试中展示经验上的成功，且所需领域知识更少。

提出的方法

• 引入公共信念状态（PBS），将不完美信息博弈转换为连续状态的近似完全信息环境。
• 在信息态上训练值网络和策略网络，使用自对弈和搜索来求解深度受限的子博弈。
• 在子博弈内使用 CFR-D（或 FP）作为均衡求解例程，叶子值由学习得到的值网络提供。
• 证明信息态值是 PBS 值的超梯度，从而实现收敛搜索。
• 演示安全测试搜索：在测试时，运行与训练时相同的算法，以在期望意义上维持均衡博弈。

实验结果

研究问题

• RQ1 RL+Search 框架是否可以在两人零和、不完美信息博弈中实现可证明性和收敛性？
• RQ2 通过基于 PBS 的值网络和策略网络的监督是否能够在大规模不完美信息领域实现收敛到纳什均衡？
• RQ3 在现实世界的不完美信息博弈（如对抗无上限德州扑克）等领域，在有限领域知识条件下，是否能够达到超越人类的表现？

主要发现

• ReBeL 在如谎言骰子等不完美信息基准中收敛到近似纳什均衡。
• 在对抗无上限德州扑克中，ReBeL 在比以往扑克 AI 少得多的领域知识下实现了超越人类的表现。
• 与强基于先验的机器人相比，ReBeL 显示出具有竞争力的可攻击性指标和快速的决策时间（通常在几秒内）。
• 该框架提供理论保证：信息态值对应于超梯度，使用 T 次 CFR 迭代进行训练可获得有界误差（O(1/√T)）。
• 在测试时，使用训练良好的 PBS 值网络时，安全搜索保证收敛到近似纳什均衡。