[论文解读] Computing Approximate Nash Equilibria in Polymatrix Games

Argyrios Deligkas, John Fearnley+2 more|arXiv (Cornell University)|Sep 12, 2014

Game Theory and Applications参考文献 17被引用 14

一句话总结

该论文提出了一种多项式时间算法，通过在最大遗憾上使用梯度下降，计算任意 δ > 0 的 (0.5 + δ)-Nash 平衡点，适用于多玩家博弈。该方法将 Tsaknakis-Spirakis 方法扩展至多玩家场景，实现了与策略数量无关的常数近似保证，并可推广至两玩家贝叶斯博弈。

ABSTRACT

In an $ε$-Nash equilibrium, a player can gain at most $ε$ by unilaterally changing his behaviour. For two-player (bimatrix) games with payoffs in $[0,1]$, the best-known$ε$ achievable in polynomial time is 0.3393. In general, for $n$-player games an $ε$-Nash equilibrium can be computed in polynomial time for an $ε$ that is an increasing function of $n$ but does not depend on the number of strategies of the players. For three-player and four-player games the corresponding values of $ε$ are 0.6022 and 0.7153, respectively. Polymatrix games are a restriction of general $n$-player games where a player's payoff is the sum of payoffs from a number of bimatrix games. There exists a very small but constant $ε$ such that computing an $ε$-Nash equilibrium of a polymatrix game is \PPAD-hard. Our main result is that a $(0.5+δ)$-Nash equilibrium of an $n$-player polymatrix game can be computed in time polynomial in the input size and $\frac{1}δ$. Inspired by the algorithm of Tsaknakis and Spirakis, our algorithm uses gradient descent on the maximum regret of the players. We also show that this algorithm can be applied to efficiently find a $(0.5+δ)$-Nash equilibrium in a two-player Bayesian game.

研究动机与目标

• 开发一种用于计算多矩阵博弈中近似 Nash 平衡点的多项式时间算法，此类博弈是 n 人博弈的简洁表示形式。
• 将 Tsaknakis-Spirakis 算法从双矩阵博弈推广至具有常数近似保证的多玩家多矩阵博弈。
• 证明对于任意 δ > 0，可在输入规模和 1/δ 的多项式时间内计算出 (0.5 + δ)-Nash 平衡点。
• 将该方法扩展至两玩家贝叶斯博弈，展示其更广泛的应用潜力。
• 通过提供具有有界近似因子的可行解，解决 n 人博弈中近似平衡点的计算困难问题。

提出的方法

• 该算法在所有玩家的最大遗憾上使用梯度下降，迭代改进策略组合。
• 它维护一个策略组合，并通过最小化最大遗憾来更新，最大遗憾定义为最优响应收益与当前收益之间的差值。
• 该方法受双矩阵博弈中 Tsaknakis-Spirakis 算法的启发，但针对多矩阵博弈的“双矩阵之和”结构进行了适配。
• 更新规则确保最大遗憾随时间递减，最终收敛至 (0.5 + δ)-Nash 平衡点。
• 通过将两玩家贝叶斯博弈转化为多矩阵博弈（保持均衡性质不变），将该算法应用于此类博弈。
• 收敛时间在输入规模和 1/δ 上为多项式时间，其中 δ 控制近似精度。

实验结果

研究问题

• RQ1 是否可以在多项式时间内计算出多矩阵博弈的常数因子近似 Nash 平衡点？
• RQ2 Tsaknakis-Spirakis 算法能否推广至具有有界近似保证的 n 人多矩阵博弈？
• RQ3 在多项式时间内可实现的多矩阵博弈最佳近似因子是多少？能否优于 0.5？
• RQ4 基于遗憾的梯度下降方法能否扩展至具有不完全信息的贝叶斯博弈？
• RQ5 是否存在一种多项式时间算法，使多矩阵博弈的近似因子优于 0.5 + δ？

主要发现

• 对于任意 δ > 0，n 人多矩阵博弈的 (0.5 + δ)-Nash 平衡点可在输入规模和 1/δ 的多项式时间内计算。
• 该算法实现了与玩家数量或策略数量无关的常数近似保证 0.5 + δ。
• 该方法适用于两玩家贝叶斯博弈，可在多项式时间内计算出 (0.5 + δ)-贝叶斯 Nash 平衡点。
• 该方法基于对所有玩家最大遗憾的梯度下降最小化，确保收敛至近似均衡点。
• 该结果优于以往针对 n 人博弈的界，后者随 n 增大趋近于 1，提供了非平凡的常数近似。
• 该算法表明，尽管任意小 ε 的近似平衡点在计算上属于 PPAD-难问题，但在多矩阵博弈中仍可实现多项式时间近似均衡的计算。