[论文解读] An Empirical Study on Computing Equilibria in Polymatrix Games

Argyrios Deligkas, John Fearnley+2 more|arXiv (Cornell University)|Feb 22, 2016

Game Theory and Applications参考文献 44被引用 8

一句话总结

本文通过实证研究比较了Lemke算法在计算精确纳什均衡与基于梯度下降的方法在计算多矩阵博弈中近似均衡的表现。结果表明，Lemke算法能高效计算大规模博弈中的精确均衡，而梯度下降方法则可扩展至更大规模的博弈，并持续找到高质量的近似均衡，其 $\varepsilon \leq 0.002$。

ABSTRACT

The Nash equilibrium is an important benchmark for behaviour in systems of strategic autonomous agents. Polymatrix games are a succinct and expressive representation of multiplayer games that model pairwise interactions between players. The empirical performance of algorithms to solve these games has received little attention, despite their wide-ranging applications. In this paper we carry out a comprehensive empirical study of two prominent algorithms for computing a sample equilibrium in these games, Lemke's algorithm that computes an exact equilibrium, and a gradient descent method that computes an approximate equilibrium. Our study covers games arising from a number of interesting applications. We find that Lemke's algorithm can compute exact equilibria in relatively large games in a reasonable amount of time. If we are willing to accept (high-quality) approximate equilibria, then we can deal with much larger games using the descent method. We also report on which games are most challenging for each of the algorithms.

研究动机与目标

• 评估精确与近似均衡计算算法在多矩阵博弈中的实际性能。
• 识别各类博弈中对每种算法最具挑战性的类型。
• 评估梯度下降方法在真实世界博弈应用中寻找近似均衡的可扩展性与解的质量。
• 为未来多矩阵博弈中的算法开发提供开源测试套件。
• 理解规则冲突处理方式与博弈结构对算法性能的影响。

提出的方法

• 应用Lemke算法求解由多矩阵博弈导出的线性互补问题（LCP），以计算精确纳什均衡。
• 采用类似梯度下降的算法计算近似均衡，通过迭代更新玩家策略以减少其偏离动机。
• 该下降方法使用参数 $\delta$ 控制步长，并引入线性搜索以提升收敛速度与解的质量。
• 研究使用了包含12类博弈的213,000个博弈实例的综合性库，涵盖拍卖、贝叶斯博弈与合作博弈等类型。
• 在多种博弈类型中测量运行时间与近似质量，并对收敛行为及不同规则冲突处理方式下的性能表现进行详细分析。
• 所有实现代码与博弈生成器均已开源，发布于 http://polymatrix-games.github.io/，以支持可复现性与基准测试。

实验结果

研究问题

• RQ1 在不同多矩阵博弈类别中，Lemke算法与梯度下降方法在运行时间与解质量方面的表现如何？
• RQ2 博弈特异性特征（如拍卖中的规则冲突处理方式）对均衡计算难度有何影响？
• RQ3 在精确计算不可行的大规模多矩阵博弈中，梯度下降方法是否能可靠地找到高质量近似均衡（$\varepsilon$-NE）？
• RQ4 为何梯度下降算法的线性搜索变体在速度与解质量上均优于无线性搜索的版本？
• RQ5 现实世界博弈结构（如组合拍卖、贝叶斯Blotto博弈）在多大程度上影响均衡查找算法的可扩展性与性能？

主要发现

• Lemke算法可在包含最多3000万个收益值的博弈中计算精确均衡，展现出精确方法在规模上的强大可扩展性。
• 采用 $\delta = 0.001$ 的下降方法在几乎所有测试案例中均找到 $\varepsilon$-NE 且满足 $\varepsilon \leq 0.002$，表明其具有高质量的近似能力。
• 下降方法的运行时间近似线性，$\delta = 0.1$ 与 $\delta = 0.001$ 的 $R^2$ 值分别为 0.88 与 0.96，而Lemke算法呈现二次方缩放特性。
• 在下降算法中引入线性搜索显著提升了运行速度与解质量，线性搜索变体在性能上全面优于无线性搜索版本。
• 在第二价格拍卖中，Lemke算法频繁找到纯纳什均衡，且与随机规则冲突处理相比，确定性规则冲突处理可显著降低运行时间。
• 观察到的最差近似质量为加权合作博弈中的 $0.1065$-NE，远优于理论上的 $0.5$ 上限。