[论文解读] The Limit Points of (Optimistic) Gradient Descent in Min-Max Optimization

Constantinos Daskalakis, Ioannis Panageas|arXiv (Cornell University)|Jul 11, 2018

Advanced Bandit Algorithms Research参考文献 19被引用 17

一句话总结

本文分析了在极小化-极大化优化中梯度下降/上升（GDA）与乐观梯度下降/上升（OGDA）的极限点，表明这两种方法在几乎所有初始条件下均能避开不稳定临界点。在小步长和温和假设下，OGDA稳定点严格包含GDA稳定点，而后者又严格包含局部极小-极大解，揭示了OGDA能收敛到更广泛的理想均衡。

ABSTRACT

Motivated by applications in Optimization, Game Theory, and the training of Generative Adversarial Networks, the convergence properties of first order methods in min-max problems have received extensive study. It has been recognized that they may cycle, and there is no good understanding of their limit points when they do not. When they converge, do they converge to local min-max solutions? We characterize the limit points of two basic first order methods, namely Gradient Descent/Ascent (GDA) and Optimistic Gradient Descent Ascent (OGDA). We show that both dynamics avoid unstable critical points for almost all initializations. Moreover, for small step sizes and under mild assumptions, the set of \{OGDA\}-stable critical points is a superset of \{GDA\}-stable critical points, which is a superset of local min-max solutions (strict in some cases). The connecting thread is that the behavior of these dynamics can be studied from a dynamical systems perspective.

研究动机与目标

• 理解在非凸-凹极小化-极大化问题中GDA与OGDA动力学的极限点。
• 确定这些动力学的稳定极限点是否对应于局部极小-极大解。
• 比较GDA与OGDA的稳定集，并评估其与局部极小-极大均衡的关系。
• 从动力系统视角理解极小化-极大化优化中的收敛行为。
• 为OGDA在GAN训练等实际应用中表现优于GDA提供见解。

提出的方法

• 使用动力系统理论工具分析GDA与OGDA的动力学，重点研究临界点的稳定性。
• 将GDA定义为对x执行梯度下降、对y执行梯度上升，步长为α。
• 将OGDA定义为带负动量的两步更新：x_{t+1} = x_t - 2α∇ₓf(x_t,y_t) + α∇ₓf(x_{t-1},y_{t-1})
• 采用线性稳定性分析对临界点进行分类：GDA稳定、OGDA稳定或不稳定。
• 通过二维和十维函数的数值实验，验证理论结果在收敛概率上的表现。
• 构建具有受控局部行为的多项式函数，以隔离并测试临界点的稳定性。

实验结果

研究问题

• RQ1 当GDA与OGDA收敛时，它们是否收敛到局部极小-极大解？
• RQ2 GDA稳定临界点集合与局部极小-极大解集合之间的关系是什么？
• RQ3 OGDA稳定临界点集合与GDA稳定点集合相比如何？
• RQ4 GDA与OGDA是否在几乎所有初始条件下都避开不稳定临界点？
• RQ5 OGDA与GDA在稳定均衡上的吸引域经验大小如何？

主要发现

• 在小步长和温和假设下，OGDA稳定临界点集合严格包含GDA稳定临界点集合。
• 在某些情况下，GDA稳定临界点集合严格包含局部极小-极大解集合，表明GDA可能收敛到非极小-极大均衡。
• 在二维示例中，OGDA以25.8%的概率收敛到(0,0)，而GDA从未收敛到该点，尽管(0,0)并非局部极小-极大点。
• 在十维实验中，OGDA实现87%的收敛率至原点（一个局部极小-极大点），而GDA为79.3%，表明OGDA具有更大的吸引域。
• 通过10,000次随机初始化的数值实验，证实GDA与OGDA在几乎所有初始条件下均避开不稳定不动点。
• 理论与实证结果表明，即使在非局部极小-极大均衡的情况下，OGDA动力学也比GDA具有更广泛的稳定均衡收敛性。