[论文解读] Minmax Optimization: Stable Limit Points of Gradient Descent Ascent are Locally Optimal.

Chi Jin, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Feb 2, 2019

Stochastic Gradient Optimization Techniques被引用 48

一句话总结

本文引入了局部极小极大点作为非凸-非凹极小极大优化中更优的最优性准则，表明当上升步长占主导时，梯度下降上升（GDA）会收敛到这些点。在该条件下，证明了所有稳定的极限点在博弈论上有意义的意义下都是局部最优的。

ABSTRACT

Minmax optimization, especially in its general nonconvex-nonconcave formulation, has found extensive applications in modern machine learning frameworks such as generative adversarial networks (GAN), adversarial training and multi-agent reinforcement learning. Gradient-based algorithms, in particular gradient descent ascent (GDA), are widely used in practice to solve these problems. Despite the practical popularity of GDA, however, its theoretical behavior has been considered highly undesirable. Indeed, apart from possiblity of non-convergence, recent results (Daskalakis and Panageas, 2018; Mazumdar and Ratliff, 2018; Adolphs et al., 2018) show that even when GDA converges, its stable limit points can be points that are not local Nash equilibria, thus not game-theoretically meaningful. In this paper, we initiate a discussion on the proper optimality measures for minmax optimization, and introduce a new notion of local optimality---local minmax---as a more suitable alternative to the notion of local Nash equilibrium. We establish favorable properties of local minmax points, and show, most importantly, that as the ratio of the ascent step size to the descent step size goes to infinity, stable limit points of GDA are exactly local minmax points up to degenerate points, demonstrating that all stable limit points of GDA have a game-theoretic meaning for minmax problems.

研究动机与目标

• 解决梯度下降上升（GDA）在极小极大优化中的理论缺陷，即稳定极限点可能不对应于有意义的均衡。
• 识别局部纳什均衡概念在非凸-非凹设置中的局限性，即此类点可能不代表稳定或最优的结果。
• 提出局部极小极大点作为现代机器学习应用中极小极大问题更合适的最优性准则。
• 证明当特定步长比条件下，GDA的稳定极限点为局部极小极大点，确保博弈论相关性。
• 通过将收敛性与有意义的均衡联系起来，为GAN和对抗训练等应用中GDA的实际成功提供理论依据。

提出的方法

• 引入局部极小极大点作为局部纳什均衡的改进，其定义基于联合策略空间中的局部极小极大性质。
• 分析在不同步长比下梯度下降上升（GDA）的动力学，特别关注上升步长占主导的区域。
• 使用稳定性分析刻画GDA的极限点，表明其在退化情况外与局部极小极大点一致。
• 采用微分方程近似和基于李雅普诺夫的论证方法，研究GDA轨迹的收敛行为。
• 建立当上升步长与下降步长之比趋于无穷大时，所有稳定极限点均为局部极小极大点的条件。
• 通过涉及拉格朗日函数或收益函数的海森矩阵的局部优化条件，形式化局部极小极大概念。

实验结果

研究问题

• RQ1 在非凸-非凹极小极大问题中，是否可以保证GDA的稳定极限点具有博弈论意义？
• RQ2 在一般极小极大问题中，局部纳什均衡概念是否不足以作为最优性准则？
• RQ3 是否存在一种更合适的最优性概念，能更好地与GDA在实践中的行为保持一致？
• RQ4 在何种条件下，GDA会收敛到在博弈论上有意义意义的局部最优点？
• RQ5 上升步长与下降步长之比如何影响GDA中稳定极限点的性质？

主要发现

• 提出局部极小极大点作为非凸-非凹极小极大问题中比局部纳什均衡更合适的最优性准则。
• 当上升步长与下降步长之比趋于无穷大时，所有GDA的稳定极限点（退化点除外）均为局部极小极大点。
• 该结果表明，在所提出的最优性准则下，GDA收敛于具有博弈论意义的解。
• 论文表明，局部纳什均衡在实践中可能不稳定或无意义，而局部极小极大点可避免此类缺陷。
• 该理论框架通过将收敛性与有意义的均衡联系起来，为GAN和对抗训练等应用中GDA的实证成功提供了理论依据。
• 分析表明，步长比是确保收敛至最优意义解的关键控制参数。