[论文解读] Modeling Other Players with Bayesian Beliefs for Games with Incomplete Information

Zuyuan Zhang, Mahdi Imani+1 more|arXiv (Cornell University)|May 23, 2024

Game Theory and ApplicationsDecision Sciences被引用 3

一句话总结

本文提出 Bayesian-CFR，一种用于在不完全信息博弈中计算贝叶斯纳什均衡的新颖反事实遗憾最小化算法。通过使用核密度估计来更新对其他玩家类型和策略的后验信念，该方法最小化贝叶斯遗憾，在德州扑克中显著优于现有的基于 CFR 的基线方法，在混合类型玩家场景下实现最低为 0.02 的可被利用性。

ABSTRACT

Bayesian games model interactive decision-making where players have incomplete information -- e.g., regarding payoffs and private data on players' strategies and preferences -- and must actively reason and update their belief models (with regard to such information) using observation and interaction history. Existing work on counterfactual regret minimization have shown great success for games with complete or imperfect information, but not for Bayesian games. To this end, we introduced a new CFR algorithm: Bayesian-CFR and analyze its regret bound with respect to Bayesian Nash Equilibria in Bayesian games. First, we present a method for updating the posterior distribution of beliefs about the game and other players' types. The method uses a kernel-density estimate and is shown to converge to the true distribution. Second, we define Bayesian regret and present a Bayesian-CFR minimization algorithm for computing the Bayesian Nash equilibrium. Finally, we extend this new approach to other existing algorithms, such as Bayesian-CFR+ and Deep Bayesian CFR. Experimental results show that our proposed solutions significantly outperform existing methods in classical Texas Hold'em games.

研究动机与目标

• 填补将反事实遗憾最小化（CFR）应用于贝叶斯博弈中的空白，其中玩家对收益和其他玩家的类型信息不完全。
• 开发一种方法，利用交互历史动态更新玩家对游戏和其他玩家私有信息的信念。
• 提出贝叶斯遗憾并设计一种最小化算法，使其在广义形式贝叶斯博弈中收敛至贝叶斯纳什均衡。
• 通过 Bayesian-CFR+ 和 Deep Bayesian CFR 扩展框架，实现可扩展性，利用分层和基于神经网络的表示方法。
• 在现实场景（如德州扑克）中展示优越性能，其中玩家表现出多样且未知的行为类型。

提出的方法

• 使用核密度估计，基于局部观察历史递归更新对其他玩家类型和游戏参数的后验信念分布。
• 定义即时贝叶斯反事实遗憾，并证明最小化它可导致整体贝叶斯遗憾的最小化。
• 提出贝叶斯遗憾作为新的遗憾度量，考虑玩家类型和信念中的不确定性。
• 设计 Bayesian-CFR 作为一种遗憾最小化算法，在游戏过程中通过观察到的交互持续维护和更新信念模型。
• 通过引入累积反事实遗憾，将 Bayesian-CFR 扩展为 Bayesian-CFR+；通过使用深度神经网络进行信念表示，进一步发展为 Deep Bayesian CFR。
• 通过证明一个包含额外项 ΔΘ^T 的遗憾界，确保理论收敛性，其中该额外项依赖于时间 T 和信念模型维度 Θ。

(a) Pure-N

实验结果

研究问题

• RQ1 反事实遗憾最小化能否有效适应于不完全信息的贝叶斯博弈，其中玩家必须推断他人私有的类型？
• RQ2 在广义形式博弈中，如何利用交互历史高效且一致地更新对其他玩家类型信念的模型？
• RQ3 所提出的 Bayesian-CFR 算法在贝叶斯纳什均衡方面的理论遗憾界是什么？
• RQ4 基于信念的遗憾最小化与核密度估计在大规模贝叶斯博弈（如德州扑克）中如何提升性能？
• RQ5 Bayesian-CFR 及其扩展在可被利用性与收敛性方面，相较于标准 CFR、CFR+ 和深度强化学习基线方法，其优越程度如何？

主要发现

• 在混合类型玩家场景中，Bayesian-CFR 实现了 0.02 的可被利用性，显著优于 CFR（0.31）、CFR+（0.27）和 DQN（0.33）等基线方法。
• 消融研究显示，若移除信念模型更新，可被利用性将从完整 Bayesian-CFR 的 0.19 上升至无后验更新时的 0.27，证明信念学习的关键作用。
• Bayesian-CFR 在平均情况下实现 0.19 的可被利用性，非常接近完全信息下的理想下界 0.16，表明其在不确定性下的强大性能。
• Bayesian-CFR+ 在所有测试玩家类型下均实现稳定的 0.02 可被利用性，表明其在多样化且未知行为设定下的鲁棒性与可扩展性。
• 与非基于信念的方法相比，所提出的框架显著降低了可被利用性，尤其在行为异质性较高的混合类型环境中表现更优。
• Deep Bayesian CFR 和 Bayesian-CFR+ 在收敛性和稳定性方面优于标准 CFR 和 DQN，尤其在具有演化玩家类型的复杂大规模贝叶斯博弈中表现更佳。

(b) Pure-C