[论文解读] Gradient Descent Converges to Minimizers

Jason D. Lee, Max Simchowitz+2 more|arXiv (Cornell University)|Feb 16, 2016

Stochastic Gradient Optimization Techniques参考文献 28被引用 123

一句话总结

在随机初始化和小常数步长下，梯度下降几乎必然收敛到局部最小点，而非鞍点，适用于具有严格鞍点性质的函数。

ABSTRACT

We show that gradient descent converges to a local minimizer, almost surely with random initialization. This is proved by applying the Stable Manifold Theorem from dynamical systems theory.

研究动机与目标

• 通过解决鞍点障碍来激励非凸优化。
• 证明在温和的正则性条件下，随机初始化的梯度下降能够避免严格鞍点。
• 在小步长条件下，证明收敛到局部极小值，而非鞍点或无穷大。
• 并将分析与不变流形理论及近端点反演联系起来。

提出的方法

• 将梯度法建模为离散动力系统，其映射为 g(x) = x - α∇f(x)。
• 使用雅可比矩阵 Dg(x) = I - α∇²f(x) 及稳定流形定理来刻画临界点附近的局部动力学。
• 证明当 α < 1/L 时 g 是一个微分同胚，并通过 g^{-k} 将全局行为与局部稳定集 W^s_loc 联系起来。
• 应用反映梯度映射的近端点解释来构造 g^{-1}，并证明严格鞍点的稳定集的测度为零。
• 通过将局部几何与全局迭代联系起来并使用类似拉ojasiewicz的不等式来给出收敛速率的推论。

实验结果

研究问题

• RQ1 在随机初始化下，梯度下降的迭代是否会收敛到鞍点？
• RQ2 在严格鞍点性质下，梯度方法是否避免鞍点并以常数步长收敛到局部极小值？
• RQ3 步长（α < 1/L）在确保收敛到极小值中的作用是什么？
• RQ4 近端点解释是否能将结果推广至其他类似下降的算法？

主要发现

• 在随机起点且 0 < α < 1/L 下，梯度下降几乎必然避免严格鞍点。
• 严格鞍点的全球稳定集的测度为零，这意味着在随机初始化下几乎必然收敛到局部极小值或发散到无穷大。
• 若迭代序列有界，在给定条件下它们收敛于局部极小值而非鞍点。
• 该结果推广到近端点算法，因为其梯度映射是微分同胚，其反演由对 -f 的梯度上升给出。
• 推论表明如果鞍点是可数的或彼此孤立，则收敛到任意鞍点的概率为零，并且若极限存在，几乎必然收敛到局部极小值。