[论文解读] Competitive Gradient Descent

Florian Schaefer, Anima Anandkumar|arXiv (Cornell University)|Dec 1, 2019

Stochastic Gradient Optimization Techniques被引用 35

一句话总结

本文提出竞争梯度下降（CGD），一种新颖算法，通过求解博弈局部动态的正则化双线性逼近，计算竞争性双人博弈中的纳什均衡。该方法在凸-凹零和博弈中实现指数级局部收敛，并在非凸-凹设定下避免发散，通过在强玩家交互下无需学习率自适应即可保持鲁棒性，优于乐观法和共识法。

ABSTRACT

We introduce a new algorithm for the numerical computation of Nash equilibria of competitive two-player games. Our method is a natural generalization of gradient descent to the two-player setting where the update is given by the Nash equilibrium of a regularized bilinear local approximation of the underlying game. It avoids oscillatory and divergent behaviors seen in alternating gradient descent. Using numerical experiments and rigorous analysis, we provide a detailed comparison to methods based on \emph{optimism} and \emph{consensus} and show that our method avoids making any unnecessary changes to the gradient dynamics while achieving exponential (local) convergence for (locally) convex-concave zero sum games. Convergence and stability properties of our method are robust to strong interactions between the players, without adapting the stepsize, which is not the case with previous methods. In our numerical experiments on non-convex-concave problems, existing methods are prone to divergence and instability due to their sensitivity to interactions among the players, whereas we never observe divergence of our algorithm. The ability to choose larger stepsizes furthermore allows our algorithm to achieve faster convergence, as measured by the number of model evaluations.

研究动机与目标

• 解决交替梯度下降在竞争性双人博弈中常见的不稳定与发散问题。
• 开发一种方法，在强玩家交互下无需学习率自适应，仍能保持稳定且收敛的动力学。
• 通过利用正则化双线性逼近建模局部博弈动态，将梯度下降推广至双人设定。
• 为乐观法和共识法提供一种稳健替代方案，尤其在非凸-凹设定下表现更优。
• 通过采用更大且稳定的步长，实现更快收敛，同时避免对梯度动态进行不必要的修改。

提出的方法

• 该方法在每次迭代中计算局部博弈动态的正则化双线性逼近的纳什均衡。
• 它用一种联合优化的更新规则替代标准梯度更新，以同时考虑双方的梯度与相互作用。
• 更新规则源自求解一个近似博弈局部结构的正则化极小化极大问题。
• 正则化确保了稳定性，并防止了交替梯度下降中常见的振荡行为。
• 该算法在强相互作用区域对学习率选择保持不变，增强了鲁棒性。
• 除非必要，否则保持原始梯度动态，避免不必要的修改。

实验结果

研究问题

• RQ1 是否存在一种双人基于梯度的方法，可在无需学习率调优的情况下实现竞争环境下的稳定与收敛行为？
• RQ2 所提出方法与乐观法和共识法相比，在收敛性与稳定性方面表现如何？
• RQ3 该方法在（局部）凸-凹零和博弈中是否保持指数级局部收敛？
• RQ4 在现有方法失效的非凸-凹博弈中，该方法是否能避免发散？
• RQ5 该方法在不损害稳定性的情况下，能在多大程度上允许采用更大的步长？

主要发现

• 所提出的竞争梯度下降在（局部）凸-凹零和博弈中实现了指数级局部收敛。
• 在强玩家交互下，该方法无需学习率自适应即可保持稳定与收敛。
• 在非凸-凹设定中，该算法从不发散，而现有方法常出现发散。
• 与先前方法相比，该方法允许采用更大的步长，从而在模型评估次数上实现更快收敛。
• 该算法避免了对梯度动态的不必要修改，保留了博弈的内在行为特征。
• 数值实验结果证实，与乐观法和共识法相比，该方法在稳定性和收敛速度方面表现更优。