[论文解读] Empirical Analysis of Fictitious Play for Nash Equilibrium Computation in Multiplayer Games

Sam Ganzfried|arXiv (Cornell University)|Jan 30, 2020

Artificial Intelligence in Games参考文献 26被引用 5

一句话总结

该论文表明，尽管在多人和非零和博弈中虚构博弈（FP）缺乏理论收敛保证，其在近似纳什均衡方面仍优于反事实遗憾最小化（CFR）。通过使用多种随机初始化，FP在经典非收敛案例（如沙普利博弈和福斯特与杨的教条博弈）中成功收敛至纳什均衡，分别在33.4%和0.18%的运行中实现ε < 10⁻⁴。

ABSTRACT

While fictitious play is guaranteed to converge to Nash equilibrium in certain game classes, such as two-player zero-sum games, it is not guaranteed to converge in non-zero-sum and multiplayer games. We show that fictitious play in fact leads to improved Nash equilibrium approximation over a variety of game classes and sizes than (counterfactual) regret minimization, which has recently produced superhuman play for multiplayer poker. We also show that when fictitious play is run several times using random initializations it is able to solve several known challenge problems in which the standard version is known to not converge, including Shapley's classic counterexample. These provide some of the first positive results for fictitious play in these settings, despite the fact that worst-case theoretical results are negative.

研究动机与目标

• 评估虚构博弈（FP）与反事实遗憾最小化（CFR）在近似多人和非零和博弈中纳什均衡的实证性能。
• 探究在众所周知的非收敛博弈中，多个随机初始化是否能使虚构博弈收敛至纳什均衡。
• 挑战传统观点，即在缺乏理论收敛保证的场景下，FP在实践中被CFR超越。
• 提供实证证据，表明FP在结合多轮随机初始化后，可解决博弈论中长期存在的难题，如沙普利博弈和福斯特与杨的博弈。

提出的方法

• 应用标准虚构博弈，采用迭代最优响应更新：每位玩家根据对手历史策略的平均值进行最优响应。
• 使用多种随机初始化（实验中为100,000次）以探索非收敛博弈中纳什均衡的吸引域。
• 通过均匀随机采样并归一化生成初始混合策略，以确保其为有效的概率分布。
• 通过ε-纳什均衡衡量收敛性：即期望效用与最优响应的最大偏差。
• 从所有初始化中选择表现最佳的运行（ε最小）作为最终策略组合。
• 使用热力图可视化成功初始化，以分析策略空间中的收敛模式。

实验结果

研究问题

• RQ1 在多人和非零和博弈中，虚构博弈是否能产生优于反事实遗憾最小化的纳什均衡近似？
• RQ2 虚构博弈是否能在标准FP已知失效的博弈中（如沙普利博弈）收敛至纳什均衡？
• RQ3 在非收敛博弈（如教条博弈）中，有多少比例的随机初始化能实现收敛？
• RQ4 是否存在实证证据表明，多轮随机初始化显著扩大了虚构博弈可解的游戏集合？

主要发现

• 在所有测试的多人和非零和博弈类别中，虚构博弈在近似纳什均衡方面优于反事实遗憾最小化。
• 在沙普利博弈中，100,000次随机初始化中有33,403次（33.4%）实现了ε < 10⁻⁴，表明已收敛至纳什均衡。
• 在福斯特与杨的教条博弈中，100,000次初始化中有182次（0.18%）产生ε < 10⁻⁴，表明收敛发生在正测度的初始策略集合上。
• 结果表明，当结合多轮随机初始化时，虚构博弈可解决长期存在的非收敛挑战问题。
• 成功率表明，对于某些博弈，平均运行约550次FP即可获得ε-均衡，显示出实际可行性。
• 这些发现挑战了主流观点，即FP在理论和实践上均劣于CFR，尤其是在多人博弈场景中。