[论文解读] First-order Methods Almost Always Avoid Saddle Points

Jason D. Lee, Ioannis Panageas+4 more|arXiv (Cornell University)|Oct 20, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用 76

一句话总结

本工作证明了许多一阶优化方法在几乎所有初始点下都能避免严格鞍点，且不需要二阶信息或除初始化以外的额外随机性。

ABSTRACT

We establish that first-order methods avoid saddle points for almost all initializations. Our results apply to a wide variety of first-order methods, including gradient descent, block coordinate descent, mirror descent and variants thereof. The connecting thread is that such algorithms can be studied from a dynamical systems perspective in which appropriate instantiations of the Stable Manifold Theorem allow for a global stability analysis. Thus, neither access to second-order derivative information nor randomness beyond initialization is necessary to provably avoid saddle points.

研究动机与目标

• 通过鞍点的广泛存在及其对一阶方法的影响来激发对非凸优化的研究。
• 将先前对梯度下降的分析推广到更广泛的一阶算法。
• 提供一个统一框架，在不依赖随机扰动或基于Hessian的方法的情况下证明对鞍点的回避。

提出的方法

• 通过映射 g 将一阶算法建模为动态系统并分析其不动点。
• 使用稳定流形定理来证明严格鞍点的全局稳定集的测度为零。
• 在温和的光滑性假设下建立雅可比矩阵的可逆性（det(Dg(x)) ≠ 0），以应用测度为零的结果。
• 将主定理应用于梯度下降、近端点、坐标下降、块坐标下降和镜像下降。
• 证明严格鞍点对这些方法是失稳的不动点。

实验结果

研究问题

• RQ1 在温和的正则性条件下，一阶方法是否在几乎所有初始点下避免严格鞍点？
• RQ2 能否通过动态系统分析广义的一类算法（梯度下降、近端点、坐标下降等）来建立对鞍点回避的结论？
• RQ3 更新映射的可逆性（det(Dg(x)) ≠ 0）是否足以应用稳定流形型测度为零的结果来对鞍点处的吸引子？
• RQ4 在不添加随机噪声或二阶信息的情况下，这种回避是否成立？
• RQ5 在标准非凸设定下，这对收敛到局部极小值有什么影响？

主要发现

• 在温和的正则性条件下，一阶方法在几乎所有初始点下避免严格鞍点。
• 该结果适用于梯度下降、近端点、块坐标下降、坐标下降和镜像下降。
• 采用带有稳定流形定理的动力系统方法得到，失稳固定点的稳定集的测度为零。
• 在梯度梯度带有Lipshitz假设下，严格鞍点是梯度下降及相关方法的失稳不动点。
• 在所识别的假设下，Det(Dg(x)) ≠ 0 成立，从而使测度为零的论证成立。
• 该框架为为何经典的一阶启发式在非凸景观中收敛到局部极小值提供了统一的理论。