[论文解读] Optimality and Stability in Non-Convex Smooth Games

Guojun Zhang, Pascal Poupart+1 more|arXiv (Cornell University)|Feb 27, 2020

Stochastic Gradient Optimization Techniques参考文献 69被引用 6

一句话总结

本文对非凸光滑博弈中的局部极小极大点进行了全面分析，阐明了其与鞍点的关系，并提出了新颖的局部鲁棒点（LRPs）概念。研究表明，尽管在非退化情况下梯度算法（如OGD和EG）可收敛至局部极小极大点，但在一般情况下常因不稳定性而失效，因此需要引入新算法或超越传统极小极大点的解概念。

ABSTRACT

Convergence to a saddle point for convex-concave functions has been studied for decades, while recent years has seen a surge of interest in non-convex (zero-sum) smooth games, motivated by their recent wide applications. It remains an intriguing research challenge how local optimal points are defined and which algorithm can converge to such points. An interesting concept is known as the local minimax point, which strongly correlates with the widely-known gradient descent ascent algorithm. This paper aims to provide a comprehensive analysis of local minimax points, such as their relation with other solution concepts and their optimality conditions. We find that local saddle points can be regarded as a special type of local minimax points, called uniformly local minimax points, under mild continuity assumptions. In (non-convex) quadratic games, we show that local minimax points are (in some sense) equivalent to global minimax points. Finally, we study the stability of gradient algorithms near local minimax points. Although gradient algorithms can converge to local/global minimax points in the non-degenerate case, they would often fail in general cases. This implies the necessity of either novel algorithms or concepts beyond saddle points and minimax points in non-convex smooth games.

研究动机与目标

• 澄清非凸零和博弈中局部最优性的理论基础，其中标准定义（如鞍点）不足以适用。
• 建立局部鞍点与局部极小极大点之间更深层次的联系，表明在温和连续性假设下前者是后者的特例。
• 提出并形式化局部鲁棒点（LRPs）的概念，这是一个更广泛的驻点类，包含局部极小极大点与极大极小点。
• 分析基于梯度的算法（如OGD、EG）在局部最优点附近的收敛稳定性，尤其关注二次博弈情形。
• 证明标准梯度方法在一般情况下无法收敛至LRPs，即使在简单的二次设置中亦然，凸显了先进优化策略的必要性。

提出的方法

• 通过无穷小鲁棒性，将局部鲁棒点（LRPs）定义为局部极小极大点的推广，基于方向导数与投影算子进行形式化。
• 推导出局部极小极大点的一阶与二阶最优性条件，将先前工作扩展至约束域及非对角Hessian矩阵的情形。
• 利用二次博弈模型表明，在温和假设下，局部极小极大点在该类中等价于全局极小极大点。
• 分析梯度动力学（如OGD、EG）的雅可比矩阵，以研究局部稳定性，推导出收敛行为的特征方程。
• 在二维二次博弈中构造反例，证明当步长与坐标无关时，OGD无法收敛至LRPs。
• 表明坐标相关的步长（如Adam中的步长）在LRPs附近是稳定所必需的，暗示了标准自适应方法的局限性。

实验结果

研究问题

• RQ1 局部鞍点与局部极小极大点之间有何关系？能否将其视为一种特例？
• RQ2 在约束设置下，局部极小极大点能否通过一阶与二阶最优性条件刻画？
• RQ3 在二次博弈中，局部极小极大点是否等价于全局极小极大点？
• RQ4 为何标准梯度算法（如OGD与EG）常无法收敛至局部极小极大点或鲁棒点？
• RQ5 局部鲁棒点（LRPs）能否作为更广泛的解概念，同时包含局部极小极大点与极大极小点？

主要发现

• 在温和连续性假设下，局部鞍点是局部极小极大点的特例，具体称为一致局部极小极大点。
• 在非凸二次博弈中，局部极小极大点在明确定义的意义下等价于全局极小极大点。
• 局部极小极大点是驻点，本文为其提供了必要与充分的一阶与二阶条件。
• 基于梯度的算法（如OGD与EG）在一般情况下无法收敛至局部鲁棒点（LRPs），即使在简单的二维二次博弈中亦然。
• OGD无法收敛至LRPs的原因在于独立坐标间存在冲突的稳定性约束，暗示需采用坐标相关的步长。
• 局部鲁棒点（LRPs）严格推广了局部极小极大点，包含同时GDA的稳定解，这些解既非极小极大也非极大极小，提示其构成更广泛的解框架。