[论文解读] Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent

Chi Jin, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Nov 28, 2017

Stochastic Gradient Optimization Techniques被引用 123

一句话总结

本文提出扰动加速梯度下降（PAGD），一种单环动量基算法，在大约 Õ(1/ε^{7/4}) 次迭代内找到 ε-二阶斯坦点，相较于不使用海森矩阵的 GD 的 Õ(1/ε^{2})，在非凸优化中更快。

ABSTRACT

Nesterov's accelerated gradient descent (AGD), an instance of the general family of "momentum methods", provably achieves faster convergence rate than gradient descent (GD) in the convex setting. However, whether these methods are superior to GD in the nonconvex setting remains open. This paper studies a simple variant of AGD, and shows that it escapes saddle points and finds a second-order stationary point in $\ ilde{O}(1/\\epsilon^{7/4})$ iterations, faster than the $\ ilde{O}(1/\\epsilon^{2})$ iterations required by GD. To the best of our knowledge, this is the first Hessian-free algorithm to find a second-order stationary point faster than GD, and also the first single-loop algorithm with a faster rate than GD even in the setting of finding a first-order stationary point. Our analysis is based on two key ideas: (1) the use of a simple Hamiltonian function, inspired by a continuous-time perspective, which AGD monotonically decreases per step even for nonconvex functions, and (2) a novel framework called improve or localize, which is useful for tracking the long-term behavior of gradient-based optimization algorithms. We believe that these techniques may deepen our understanding of both acceleration algorithms and nonconvex optimization.

研究动机与目标

• 在非凸优化中研究动量方法的动机及其逃离鞍点的能力。
• 开发一个无需海森矩阵、单循环的算法，使其比梯度下降在达到二阶收敛点方面收敛更快。
• 引入基于哈密顿量的分析和一个新的“改进或局部化”框架，以理解非凸情形下的加速。

提出的方法

• 提出扰动加速梯度下降（PAGD），这是对 AGD 的一种变体，带有扰动和负曲率利用（NCE）。
• 使用哈密顿量函数 E_t = f(x_t) + (1/2η)||v_t||^2 来跟踪进展，即使目标值非单调。
• 当梯度较小时添加随机扰动以逃离鞍点。
• 在检测到类似二次不稳定性时触发负曲率利用以降低哈密顿量。
• 选择参数 η、θ、γ、s、script T 以及半径 r 以保证哈密顿量的下降。
• 证明 PAGD 在 Õ(ℓ^{1/2}ρ^{1/4}(f(x_0)-f^*)/ε^{7/4}) 次迭代内以高概率达到 ε-二阶收敛。

实验结果

研究问题

• RQ1 当目标为二阶收敛时，基于动量的方法在非凸情形下能否比 GD 拿到更快的收敛速度？
• RQ2 是否存在一个无需海森矩阵、单循环的算法，能在理论上比 GD 更快找到 ε-二阶收敛点？
• RQ3 哈密顿量框架和扰动如何帮助分析并保证非凸优化中加速方法的进展？
• RQ4 哪些机制（扰动和负曲率利用）能够有效地从严格鞍点逃逸？

主要发现

• PAGD 在 Õ(ℓ^{1/2}ρ^{1/4}(f(x_0)-f^*)/ε^{7/4}) 次迭代内达到 ε-二阶收敛点，较 GD 更快。
• PAGD 无需海森矩阵且为单循环，与以往的嵌套循环海森基方法不同。
• PAGD 在非凸情形下达到一阶收敛点的速度与标准 GD 相比更好或等同。
• 引入了一个可计算的哈密顿量，在 PAGD 下单调下降，使在非凸优化中能够跟踪进展。
• 发展了“改进或局部化”框架以分析长期行为和加速效应。
• 扰动和负曲率利用步骤易于实现，且保证哈密顿量下降。