[论文解读] Accelerated Methods for Non-Convex Optimization

Yair Carmon, John C. Duchi+2 more|arXiv (Cornell University)|Nov 2, 2016

Sparse and Compressive Sensing Techniques参考文献 35被引用 55

一句话总结

该论文提出了一种非凸优化的Hessian-free加速梯度方法，实现了对$O(\tilde{O}(\mathrm{poly}(L_1, L_2, \triangle_f)\mathrm{polylog}(1/\theta)\theta^{-7/4}))$的改进收敛速率，以找到$\varepsilon$-平稳点，其中$L_1$和$L_2$分别为梯度和Hessian的Lipschitz常数，$\triangle_f$为初始函数值差距。该方法通过确保$\nabla^2f(x) \succeq -O(\varepsilon^{1/2})I$来保证二阶平稳性，并且由于仅依赖于梯度和Hessian-向量乘积，因此适用于大规模问题。

ABSTRACT

We present an accelerated gradient method for non-convex optimization problems with Lipschitz continuous first and second derivatives. The method requires time $O(ε^{-7/4} \log(1/ ε) )$ to find an $ε$-stationary point, meaning a point $x$ such that $\| abla f(x)\| \le ε$. The method improves upon the $O(ε^{-2} )$ complexity of gradient descent and provides the additional second-order guarantee that $ abla^2 f(x) \succeq -O(ε^{1/2})I$ for the computed $x$. Furthermore, our method is Hessian free, i.e. it only requires gradient computations, and is therefore suitable for large scale applications.

研究动机与目标

• 在仅使用梯度信息时，将非凸优化的梯度下降收敛速率提升至超过$O(\varepsilon^{-2})$的复杂度。
• 提供一种仅使用一阶信息的方法，实现二阶平稳点（即梯度较小且Hessian有下界）而无需显式计算Hessian。
• 通过仅依赖于梯度和Hessian-向量乘积的计算，设计一种适用于大规模问题的可扩展算法。
• 实现对二阶平稳点的收敛，且对精度呈多项式依赖，对维度呈对数依赖。

提出的方法

• 该方法结合了Nesterov风格的加速与一种局部正则化技术，通过修改目标函数在当前迭代点邻域内强制实现强凸性。
• 利用Hessian-向量乘积预言机构建函数的局部二次模型，从而在不形成完整Hessian矩阵的情况下高效计算搜索方向。
• 算法在梯度下降阶段与一个应用了强凸性参数$\sigma_1$的正则化子问题的加速梯度下降阶段之间交替进行。
• 关键组件是使用一个修改后的函数$f_+(x) = f(x) + L_1[\|x - x_+\| - \sigma_1/(4L_2)]_+^2$，该函数是强凸的，并且在$x_+$的邻域内与$f$一致，从而能够快速收敛到局部极小值点。
• 该方法确保最终点的Hessian满足$\nabla^2f(x) \succeq -O(\varepsilon^{1/2})I$，从而提供二阶保证。
• 整体运行时间被限制在$\widetilde{O}(\Delta_f L_1^{1/2} L_2^{1/4} \varepsilon^{-7/4})$次梯度和Hessian-向量乘积评估之内。

实验结果

研究问题

• RQ1 当仅能获取梯度信息时，是否可以将非凸优化中一阶方法的收敛速率提升至超过$O(\varepsilon^{-2})$？
• RQ2 是否可以仅使用梯度和Hessian-向量乘积信息，实现二阶平稳性（即梯度较小且Hessian有下界）？
• RQ3 能否将加速梯度方法适配到非凸问题中，以实现更快的收敛速度，同时保持Hessian-free计算？
• RQ4 在非凸优化中，梯度光滑性、Hessian光滑性与收敛速率之间的最优权衡是什么？

主要发现

• 所提方法在$O(\tilde{O}(\Delta_f L_1^{1/2} L_2^{1/4} \varepsilon^{-7/4}))$次迭代内找到$\varepsilon$-平稳点，优于标准梯度下降的$O(\varepsilon^{-2})$复杂度。
• 该方法保证最终点的Hessian满足$\nabla^2f(x) \succeq -O(\varepsilon^{1/2})I$，确保了二阶平稳性。
• 对于严格鞍函数，由于二阶保证，该方法线性收敛到局部极小值点。
• 该算法为Hessian-free方法，仅需梯度和Hessian-向量乘积评估，因此适用于大规模问题。
• 该方法收敛到一点$x$，使得$\|\nabla f(x)\| \leq \varepsilon$且$\|x - x^\star_+\| \leq 2\varepsilon / \sigma_1$，其中$x^\star_+$为局部极小值点。
• 函数次优性被限制为$f(x) - f(x^\star_+) \leq 2L_1 \varepsilon^2 / \sigma_1^2$，确保了与局部极小值点的接近性。