[论文解读] A geometric alternative to Nesterov's accelerated gradient descent

Sébastien Bubeck, Yin Tat Lee+1 more|arXiv (Cornell University)|Jun 26, 2015

Stochastic Gradient Optimization Techniques参考文献 3被引用 91

一句话总结

本文提出了一种几何一阶优化方法——几何下降法（GeoD），通过一种新颖的几何解释（涉及收缩包围球）实现了与奈斯特罗夫加速梯度下降法相同的最优收敛速率。通过结合梯度信息与类似椭球的更新方式，利用线搜索和球体交集，GeoD在每次迭代中实现了 $1 - \frac{1}{\sqrt{\kappa}}$ 的加速收敛速率，同时相比奈斯特罗夫方法提供了更清晰的直观理解。实验结果表明，该方法在分类任务和最坏情况问题上均表现出具有竞争力的性能。

ABSTRACT

We propose a new method for unconstrained optimization of a smooth and strongly convex function, which attains the optimal rate of convergence of Nesterov's accelerated gradient descent. The new algorithm has a simple geometric interpretation, loosely inspired by the ellipsoid method. We provide some numerical evidence that the new method can be superior to Nesterov's accelerated gradient descent.

研究动机与目标

• 为光滑强凸函数开发一种一阶优化方法，使其收敛速率达到最优的 $1 - \frac{1}{\sqrt{\kappa}}$。
• 提供一种几何上直观的替代方法，以取代奈斯特罗夫加速梯度下降法，后者因推导复杂且晦涩而闻名。
• 通过利用球体包围和交集几何，提升一阶方法中加速机制的可解释性。
• 在分类任务和最坏情况问题上，对新方法与 AFG、AFGwR、L-BFGS 和最速下降法等成熟方法进行实证评估。

提出的方法

• 该方法维护两个球体：一个以梯度步长 $x^{++} = x - \frac{1}{\alpha}\nabla f(x)$ 为中心，另一个来自先前迭代，两者均包围最优解。
• 在每次迭代中，算法计算两个球体交集的最小包围球。
• 利用线搜索计算关键点：$x^+ = \text{line\_search}(x, x - \nabla f(x))$ 和 $x^{++} = \text{line\_search}(x, x - \frac{1}{\alpha}\nabla f(x))$。
• 通过结合当前和历史梯度数据，使包围球的半径以 $1 - \frac{1}{\sqrt{\kappa}}$ 的速率缩小，从而匹配奈斯特罗夫的最优收敛速率。
• 该算法每轮迭代执行两次线搜索：一次沿梯度方向，另一次通过球体交集计算新迭代点。
• 该方法在算法2（GeoD）中正式定义，其通过迭代更新两个收缩球体交集的最小包围球的中心与半径。

实验结果

研究问题

• RQ1 能否构建一种一阶优化的几何解释，使其收敛速率与奈斯特罗夫加速梯度下降法相当？
• RQ2 将梯度下降与类似椭球的球体交集原理相结合，是否能形成一种更易理解且更有效的加速机制？
• RQ3 在实践中，新方法能否在收敛速度和鲁棒性方面超越奈斯特罗夫方法及其他一阶方法？
• RQ4 该几何方法在具有已知收敛速率下限的最坏情况问题上的性能表现如何？

主要发现

• GeoD 每轮迭代实现了最优收敛速率 $1 - \frac{1}{\sqrt{\kappa}}$，与奈斯特罗夫加速梯度下降法完全一致。
• 在 40 个 LIBSVM 数据集的二分类实验中，GeoD 胜过最速下降法、AFG 和 AFGwR，但逊于 L-BFGS。
• 在条件数为 $\kappa = \beta$ 的最坏情况问题中，GeoD 和 AFGwR 在经过 $\Theta(n)$ 次迭代后，收敛速度均快于最速下降法，尽管仅使用一个单位内存。
• 该方法表明，加速可通过两个球体的交集收缩来理解：一个来自当前梯度信息，另一个来自先前迭代，从而提供了比奈斯特罗夫方法更清晰的几何直观。
• 该算法每轮迭代仅需一次梯度计算和两次线搜索，保持了计算效率，同时实现了最优收敛。
• 数值结果表明，当扩展为使用多个球体交集时，GeoD 的性能可与 L-BFGS 竞争，表明通过引入内存机制有望进一步提升性能。