[论文解读] Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Problems

Michael O’Neill, Stephen J. Wright|arXiv (Cornell University)|Jun 24, 2017

Advanced Optimization Algorithms Research被引用 8

一句话总结

本文分析了非凸优化中接近严格鞍点的加速梯度方法，利用稳定流形定理证明了重型球法可避免收敛至此类点。此外，研究进一步表明，重型球法与标准加速方法在远离严格鞍点时的发散速度均快于最速下降法，凸显了其在非凸景观中的动态不稳定性。

ABSTRACT

We examine the behavior of accelerated gradient methods in smooth nonconvex unconstrained optimization, focusing in particular on their behavior near strict saddle points. Accelerated methods are iterative methods that typically step along a direction that is a linear combination of the previous step and the gradient of the function evaluated at a point at or near the current iterate. (The previous step encodes gradient information from earlier stages in the iterative process.) We show by means of the stable manifold theorem that the heavy-ball method method is unlikely to converge to strict saddle points, which are points at which the gradient of the objective is zero but the Hessian has at least one negative eigenvalue. We then examine the behavior of the heavy-ball method and other accelerated gradient methods in the vicinity of a strict saddle point of a nonconvex quadratic function, showing that both methods can diverge from this point more rapidly than the steepest-descent method.

研究动机与目标

• 理解加速梯度方法在非凸优化临界点附近的动态行为。
• 研究加速方法是否收敛至或避开严格鞍点。
• 比较重型球法与最速下降法在严格鞍点附近的动态特性。
• 利用动力系统理论分析加速方法在非凸临界点附近的不稳定性。

提出的方法

• 应用稳定流形定理分析重型球法在严格鞍点附近的收敛行为。
• 分析聚焦于非凸二次函数的严格鞍点邻域内重型球法的动力学。
• 通过分析鞍点附近的线性化动力学，判断轨迹是否收敛或发散。
• 定量比较重型球法与最速下降法在远离鞍点过程中的发散速度。
• 对临界点处的海森矩阵结构及特征值分布进行理论分析，以表征不稳定流形。
• 采用连续时间近似与离散时间迭代相结合的方法，建模加速方法的轨迹。

实验结果

研究问题

• RQ1 重型球法在非凸优化中是否收敛至严格鞍点？
• RQ2 重型球法在严格鞍点附近的发散速率与最速下降法相比如何？
• RQ3 海森矩阵的负特征值在加速方法于鞍点附近产生不稳定性方面起何作用？
• RQ4 动力系统理论能否解释加速方法对严格鞍点的回避行为？
• RQ5 过去梯度与当前梯度的线性组合如何影响对非凸临界点的逃逸？

主要发现

• 由于稳定流形的结构，重型球法不太可能收敛至严格鞍点，该结论由稳定流形定理保证。
• 在严格鞍点附近，重型球法的发散速度超过最速下降法。
• 其他加速梯度方法在远离严格鞍点时的发散速度也快于最速下降法。
• 鞍点附近的不稳定性源于海森矩阵中存在负特征值，其会放大重型球更新中动量的影响。
• 理论分析证实，加速方法中的动量项可增强对具有负曲率的非凸临界点的逃逸能力。
• 结果表明，由于在不稳定流形方向上的动态不稳定性，加速方法本质上会避开严格鞍点。