[论文解读] Cubic Regularization with Momentum for Nonconvex Optimization

Zhe Wang, Yi Zhou+2 more|arXiv (Cornell University)|Oct 9, 2018

Sparse and Compressive Sensing Techniques参考文献 33被引用 9

一句话总结

该论文提出CRm，一种用于非凸优化的动量加速立方正则化牛顿法，可实现到二阶平稳点的最优收敛速率。通过将动量机制整合进立方正则化框架，CRm在实践中加速了收敛，并在误差界条件下实现了局部二次收敛，实验结果优于Nesterov的加速方法。

ABSTRACT

Momentum is a popular technique to accelerate the convergence in practical training, and its impact on convergence guarantee has been well-studied for first-order algorithms. However, such a successful acceleration technique has not yet been proposed for second-order algorithms in nonconvex optimization.In this paper, we apply the momentum scheme to cubic regularized (CR) Newton's method and explore the potential for acceleration. Our numerical experiments on various nonconvex optimization problems demonstrate that the momentum scheme can substantially facilitate the convergence of cubic regularization, and perform even better than the Nesterov's acceleration scheme for CR. Theoretically, we prove that CR under momentum achieves the best possible convergence rate to a second-order stationary point for nonconvex optimization. Moreover, we study the proposed algorithm for solving problems satisfying an error bound condition and establish a local quadratic convergence rate. Then, particularly for finite-sum problems, we show that the proposed algorithm can allow computational inexactness that reduces the overall sample complexity without degrading the convergence rate.

研究动机与目标

• 设计一种用于非凸优化中立方正则化（CR）牛顿法的基于动量的加速方案。
• 为所提方法建立收敛至二阶平稳点的理论保证。
• 展示相较于现有CR方法与Nesterov加速方案，该方法在实际收敛性能上的改进。
• 在Hessian矩阵满足误差界条件的前提下，分析局部收敛性，并允许计算中的不精确性而不降低收敛速率。

提出的方法

• 提出CRm，一种引入动量步长以加速收敛的立方正则化变体。
• 采用三步更新策略：求解立方子问题、执行动量更新、结合单调线搜索以保证全局收敛。
• 采用回溯线搜索并引入单调性条件，确保目标函数值充分下降。
• 通过分析迭代点、梯度与Hessian矩阵范数的行为，推导理论收敛速率。
• 在Hessian矩阵满足误差界条件时，建立局部二次收敛性。
• 分析Hessian与梯度计算中的不精确性，表明在有限和问题中可降低样本复杂度，同时不损失收敛速率。

实验结果

研究问题

• RQ1 能否成功将动量机制整合进立方正则化框架，以加速非凸优化中的收敛？
• RQ2 所提出的动量-CR方法是否实现了目前已知的最佳收敛速率至二阶平稳点？
• RQ3 在计算不精确性条件下，特别是在有限和问题中，该算法表现如何？
• RQ4 在实际非凸设置中，该动量方案是否优于Nesterov的加速方法？
• RQ5 在误差界条件下，动量-CR方法的局部收敛速率是多少？

主要发现

• CRm实现到二阶平稳点的最优收敛速率O(1/k^{3/2})，与非凸优化中目前已知的最佳速率一致。
• 数值实验表明，CRm相较于标准CR和Nesterov加速方法收敛显著更快，尤其在早期迭代中表现突出。
• 在误差界条件下，CRm表现出局部二次收敛，表明其在接近最优解时具有快速的局部行为。
• 对于有限和问题，CRm允许Hessian与梯度计算的不精确性，降低样本复杂度，同时保持相同的收敛速率。
• 理论分析证实，动量机制不会损害收敛保证，并确保全局收敛至二阶平稳点。
• 该算法保持迭代点有界，并收敛至一个点，其中梯度范数与Hessian矩阵最小特征值均满足二阶平稳条件。