[论文解读] "Convex Until Proven Guilty": Dimension-Free Acceleration of Gradient Descent on Non-Convex Functions

Yair Carmon, Oliver Hinder+2 more|arXiv (Cornell University)|May 8, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用 34

一句话总结

本文提出了一种无维度的加速梯度下降方法，用于非凸优化，可在标准Nesterov加速法停滞时检测负曲率，从而实现确定性的更快收敛。该方法在找到 $ \epsilon $-平稳点时，梯度和函数评估次数为 $ O(\tilde{\rho}^{-7/4} \log(1/\epsilon)) $，优于标准梯度下降法的 $ O(\epsilon^{-2}) $ 收敛速率。

ABSTRACT

We develop and analyze a variant of Nesterov's accelerated gradient descent (AGD) for minimization of smooth non-convex functions. We prove that one of two cases occurs: either our AGD variant converges quickly, as if the function was convex, or we produce a certificate that the function is "guilty" of being non-convex. This non-convexity certificate allows us to exploit negative curvature and obtain deterministic, dimension-free acceleration of convergence for non-convex functions. For a function $f$ with Lipschitz continuous gradient and Hessian, we compute a point $x$ with $\| abla f(x)\| \le ε$ in $O(ε^{-7/4} \log(1/ ε) )$ gradient and function evaluations. Assuming additionally that the third derivative is Lipschitz, we require only $O(ε^{-5/3} \log(1/ ε) )$ evaluations.

研究动机与目标

• 解决尽管在机器学习中实际应用成功，但非凸优化中缺乏可证明的加速机制的问题。
• 克服标准梯度下降法在寻找 $ \epsilon $-平稳点时的 $ O(\epsilon^{-2}) $ 最坏情况复杂度。
• 开发一种能利用负曲率的算法，从而在不依赖凸性的情况下实现更快收敛。
• 通过在Nesterov加速梯度下降过程中检测非凸性证书，实现无维度的加速。
• 在更高阶光滑性假设（如Lipschitz连续的三阶导数）下，改进收敛速率。

提出的方法

• 监控Nesterov加速梯度下降（AGD），通过检查是否存在满足 $ f(u) < f(v) + \nabla f(v)^T(u-v) + \frac{\sigma}{2}\|u-v\|^2 $ 的见证对 $ u, v $，来判断函数是否非强凸。
• 当检测到此类见证对时，方法利用负曲率加速收敛，确保在非凸函数上仍能取得进展。
• 对原始函数应用带有邻近正则化的AGD，使算法在凸类和非凸情形下均能实现迭代进展。
• 利用检测到的负曲率，采取更大且能减少函数值的步长，从而在收敛性上超越标准梯度下降法。
• 在Lipschitz连续三阶导数的假设下强化方法，以允许更大的步长并改善复杂度。
• 在第一阶预言机模型下，以梯度和函数评估次数衡量复杂度，重点关注确定性收敛。

实验结果

研究问题

• RQ1 能否通过检测非凸性，将Nesterov加速梯度下降适配到非凸函数上，并实现可证明的加速？
• RQ2 在标准光滑性假设下，光滑非凸优化中寻找 $ \epsilon $-平稳点的最优收敛速率是什么？
• RQ3 负曲率的存在如何影响加速梯度方法的收敛性？能否实现确定性利用？
• RQ4 能否在不依赖随机性或随机化的情况下，将收敛速率提升至 $ O(\epsilon^{-2}) $ 以下？
• RQ5 假设三阶导数Lipschitz连续，是否能显著提升确定性一阶方法的收敛速率？

主要发现

• 所提方法在光滑非凸函数且Hessian矩阵Lipschitz连续的条件下，实现了一阶预言机复杂度为 $ O(\epsilon^{-7/4} \log(1/\epsilon)) $ 的梯度和函数评估次数，以找到 $ \epsilon $-平稳点。
• 在额外假设三阶导数Lipschitz连续的条件下，复杂度进一步提升至 $ O(\epsilon^{-5/3} \log(1/\epsilon)) $，显著优于标准方法。
• 该方法通过在AGD迭代过程中检测非凸性证书，实现对非凸性的识别，从而在加速停滞时切换至负曲率利用模式。
• 实验表明，该方法在负曲率存在时，显著优于标准梯度下降法和不利用负曲率的变体（C-Alg. 3）。
• 在MNIST数据集上的神经网络训练中，该方法从未检测到负曲率，表明该区域的损失景观在本质上是凸的，与经验观察一致。
• 尽管在实验中未超越非线性共轭梯度法，但该方法展示了无维度且确定性的可证明加速机制。