[论文解读] A Second Order Method for Nonconvex Optimization

Santiago Paternain, Aryan Mokhtari+1 more|arXiv (Cornell University)|Jul 25, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用 2

一句话总结

该论文提出了一种二阶优化方法，通过将海森矩阵的负特征值替换为其绝对值来改进牛顿法，从而在非凸优化中实现对鞍点的高效逃离。该方法保证在最多 $1 + \log_{3/2}(\delta/2\varepsilon)$ 次迭代内实现鞍点逃离，并以概率 $1-p$ 在 $O(\log(1/p) + \log(1/\varepsilon))$ 次迭代内收敛至局部最小值。

ABSTRACT

Machine learning problems such as neural network training, tensor decomposition, and matrix factorization, require local minimization of a nonconvex function. This local minimization is challenged by the presence of saddle points, of which there can be many and from which descent methods may take inordinately large number of iterations to escape. This paper presents a second-order method that modifies the update of Newton's method by replacing the negative eigenvalues of the Hessian by their absolute values and uses a truncated version of the resulting matrix to account for the objective's curvature. The method is shown to escape saddles in at most $1 + \log_{3/2} (\delta/2\varepsilon)$ iterations where $\varepsilon$ is the target optimality and $\delta$ characterizes a point sufficiently far away from the saddle. This base of this exponential escape is $3/2$ independently of problem constants. Adding classical properties of Newton's method, the paper proves convergence to a local minimum with probability $1-p$ in $O\left(\log(1/p)) + O(\log(1/\varepsilon) ight)$ iterations.

研究动机与目标

• 为解决神经网络训练和矩阵分解等任务中因鞍点导致的非凸优化收敛缓慢问题。
• 开发牛顿法的改进版本，通过调整海森矩阵的负特征值来提升对鞍点的逃离能力。
• 在较少的迭代次数内以高概率收敛至局部最小值。
• 提供与问题特定常数无关的迭代复杂度理论保证。

提出的方法

• 通过将海森矩阵的负特征值替换为其绝对值来修改牛顿更新，确保即使在鞍点附近也能保持下降方向。
• 使用修改后海森矩阵的截断版本来近似曲率，平衡精度与计算成本。
• 通过特征值调整引入类似正则化的效应，实现对鞍点区域的快速逃离。
• 在标准假设下分析算法的收敛性，迭代次数受目标精度 $\varepsilon$ 和失败概率 $p$ 的对数函数有界。
• 结合牛顿法的特性与鞍点逃离机制，确保全局收敛至局部最小值。

实验结果

研究问题

• RQ1 能否设计一种二阶方法，在具有可证明收敛保证的前提下高效逃离非凸优化中的鞍点？
• RQ2 使用改进的牛顿型方法逃离鞍点所需的最少迭代次数是多少？
• RQ3 迭代复杂度如何随目标精度 $\varepsilon$ 和失败概率 $p$ 变化？
• RQ4 该方法能否在保持鞍点附近快速收敛的同时，以高概率实现对局部最小值的收敛？

主要发现

• 该方法在最多 $1 + \log_{3/2}(\delta/2\varepsilon)$ 次迭代内逃离鞍点，其中 $\delta$ 衡量初始距离鞍点的距离，$\varepsilon$ 为目标最优性。
• 对数逃离速率的底数为 $3/2$，与问题特定常数无关，确保在各类非凸问题中均具有稳健性能。
• 以概率 $1-p$ 在 $O(\log(1/p) + \log(1/\varepsilon))$ 次迭代内收敛至局部最小值。
• 该方法在保持牛顿法快速局部收敛特性的同时，克服了其在鞍点附近的局限性。
• 理论分析证实，修改后的海森矩阵更新可确保充分下降，并避免在鞍点处长期停滞。