[论文解读] Gradient Descent Efficiently Finds the Cubic-Regularized Non-Convex Newton Step

Yair Carmon, John C. Duchi|arXiv (Cornell University)|Dec 2, 2016

Sparse and Compressive Sensing Techniques参考文献 11被引用 58

一句话总结

本文证明了梯度下降能高效逼近三次正则化非凸牛顿步的全局最优解，对于较大的 $\varepsilon$，在 $O(\varepsilon^{-1}\log(1/\varepsilon))$ 步内达到 $\varepsilon$-精度；对于较小的 $\varepsilon$，则在 $O(\log(1/\varepsilon))$ 步内达到精度，且对维度的依赖为对数级。该结果建立了对一般光滑非凸函数收敛至二阶平稳点的收敛速率。

ABSTRACT

We consider the minimization of non-convex quadratic forms regularized by a cubic term, which exhibit multiple saddle points and poor local minima. Nonetheless, we prove that, under mild assumptions, gradient descent approximates the $ extit{global minimum}$ to within $\varepsilon$ accuracy in $O(\varepsilon^{-1}\log(1/\varepsilon))$ steps for large $\varepsilon$ and $O(\log(1/\varepsilon))$ steps for small $\varepsilon$ (compared to a condition number we define), with at most logarithmic dependence on the problem dimension. When we use gradient descent to approximate the Nesterov-Polyak cubic-regularized Newton step, our result implies a rate of convergence to second-order stationary points of general smooth non-convex functions.

研究动机与目标

• 分析梯度下降在最小化由三次项正则化的非凸二次型时的收敛性。
• 在较弱假设下建立收敛至全局最小值的速率。
• 证明梯度下降能以低维度依赖的方式逼近 Nesterov-Polyak 三次正则化牛顿步。
• 推导一般光滑非凸函数收敛至二阶平稳点的收敛速率。

提出的方法

• 对一个由三次项正则化的非凸二次函数应用梯度下降以实现最小化。
• 分析中引入了一个条件数，以刻画问题的难度及其对 $\varepsilon$ 的依赖性。
• 通过光滑性和曲率假设推导收敛界，且对维度的依赖为对数级。
• 利用三次正则化牛顿步的结构，以界定所需迭代次数的上界。
• 通过目标函数间隙中的误差控制，建立迭代下降的理论保证。

实验结果

研究问题

• RQ1 梯度下降能否高效逼近三次正则化非凸二次型的全局最小值？
• RQ2 梯度下降收敛至全局最小值的速率如何依赖于 $\varepsilon$ 和条件数？
• RQ3 该设定下维度如何影响梯度下降的收敛复杂度？
• RQ4 通过梯度下降近似三次正则化牛顿步，是否能获得收敛至二阶平稳点的速率？

主要发现

• 对于较大的 $\varepsilon$，梯度下降在 $O(\varepsilon^{-1}\log(1/\varepsilon))$ 步内达到全局最小值的 $\varepsilon$-精度。
• 对于较小的 $\varepsilon$，收敛速率提升至 $O(\log(1/\varepsilon))$ 步，表明在有利条件下收敛更快。
• 收敛速率对问题维度的依赖至多为对数级，确保了可扩展性。
• 该方法为使用梯度下降近似 Nesterov-Polyak 三次正则化牛顿步提供了理论基础。
• 该结果意味着一般光滑非凸函数收敛至二阶平稳点的速率。