[论文解读] Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition

Rong Ge, Furong Huang+2 more|arXiv (Cornell University)|Mar 6, 2015

Tensor decomposition and applications参考文献 27被引用 611

一句话总结

本文提出非凸优化中的严格鞍点性质，证明带噪声的随机梯度下降（SGD）可高效逃离鞍点，并在多项式时间内收敛至局部最小值。作者将该框架应用于正交张量分解，提出一种满足严格鞍点性质的新目标函数，从而实现首个具有全局收敛保证的在线算法，用于张量分解。

ABSTRACT

We analyze stochastic gradient descent for optimizing non-convex functions. In many cases for non-convex functions the goal is to find a reasonable local minimum, and the main concern is that gradient updates are trapped in saddle points. In this paper we identify strict saddle property for non-convex problem that allows for efficient optimization. Using this property we show that stochastic gradient descent converges to a local minimum in a polynomial number of iterations. To the best of our knowledge this is the first work that gives global convergence guarantees for stochastic gradient descent on non-convex functions with exponentially many local minima and saddle points. Our analysis can be applied to orthogonal tensor decomposition, which is widely used in learning a rich class of latent variable models. We propose a new optimization formulation for the tensor decomposition problem that has strict saddle property. As a result we get the first online algorithm for orthogonal tensor decomposition with global convergence guarantee.

研究动机与目标

• 识别随机梯度下降（SGD）在非凸优化中可高效逃离鞍点的条件。
• 解决鞍点作为训练深度神经网络及其他非凸模型主要瓶颈的挑战。
• 为具有指数级多组局部最小值和鞍点的非凸设置下的SGD提供全局收敛保证。
• 为正交张量分解开发一种具有理论收敛保证的在线算法。

提出的方法

• 引入严格鞍点性质：一个二阶可导函数，其每个鞍点的海森矩阵至少有一个负特征值。
• 在严格鞍点条件下分析带噪声的梯度下降（SGD注入噪声），证明其可在多项式时间内收敛至局部最小值。
• 为正交张量分解设计一种新的优化公式，使其满足严格鞍点性质。
• 使用黎曼优化工具，包括切空间投影和海森矩阵近似，分析临界点附近的局部几何结构。
• 证明在严格鞍点条件下，SGD由于随机噪声可高效逃离鞍点，即使仅使用一阶梯度信息亦成立。
• 通过约束流形上海森矩阵的稳定性和曲率分析，建立所提在线算法的全局收敛性。

实验结果

研究问题

• RQ1 在何种条件下，随机梯度下降可在非凸优化中高效逃离鞍点？
• RQ2 一阶方法如SGD是否可在具有指数级多组鞍点和局部最小值的非凸问题中实现全局收敛？
• RQ3 严格鞍点性质——即所有鞍点均具有负曲率方向——是否能仅通过梯度信息实现对鞍点的高效逃离？
• RQ4 是否可将严格鞍点性质工程化应用于正交张量分解等实际问题？
• RQ5 是否存在一种针对正交张量分解的全局收敛在线算法？

主要发现

• 在严格鞍点性质下，即使存在指数级多组鞍点，带噪声的SGD仍可在多项式时间内收敛至局部最小值。
• 所提出的正交张量分解优化公式满足严格鞍点性质，从而实现全局收敛保证。
• 首次提出针对正交张量分解的在线算法，并具备全局收敛性，克服了批量方法的可扩展性限制。
• 分析表明，由于噪声的存在，SGD下鞍点不稳定，即使梯度为零也能实现逃离。
• 对于任意位于局部最小值δ-邻域内的点，其海森矩阵在所有切向方向上均具有正曲率，确保稳定性和收敛性。
• 该框架适用于无约束和等式约束优化，可扩展至具有正交性约束的张量分解等问题。