[论文解读] Accelerating Rescaled Gradient Descent: Fast Optimization of Smooth Functions

Ashia Wilson, Lester Mackey+1 more|arXiv (Cornell University)|Feb 23, 2019

Sparse and Compressive Sensing Techniques参考文献 37被引用 16

一句话总结

本文提出了一种新型的一阶优化算法——缩放梯度下降（RGD），通过广义梯度下降和归一化梯度下降，加速了光滑函数的收敛速度。利用统一的李雅普诺夫框架，RGD在强光滑性假设下实现了更快的非渐近收敛速率，其中加速框架分别达到 $ O(1/(\theta k)^p) $ 和 $ O(1/(\theta k)^{(3p-2)/2}) $ 的收敛速率，并进一步推广至高阶张量方法和坐标下降。

ABSTRACT

We present a family of algorithms, called descent algorithms, for optimizing convex and non-convex functions. We also introduce a new first-order algorithm, called rescaled gradient descent (RGD), and show that RGD achieves a faster convergence rate than gradient descent provided the function is strongly smooth -- a natural generalization of the standard smoothness assumption on the objective function. When the objective function is convex, we present two novel frameworks for "accelerating" descent methods, one in the style of Nesterov and the other in the style of Monteiro and Svaiter, using a single Lyapunov. Rescaled gradient descent can be accelerated under the same strong smoothness assumption using both frameworks. We provide several examples of strongly smooth loss functions in machine learning and numerical experiments that verify our theoretical findings. We also present several extensions of our novel Lyapunov framework, including deriving optimal universal tensor methods and extending our framework to the coordinate setting.

研究动机与目标

• 在强光滑性假设下，开发一个统一的框架，用于分析和加速一阶优化算法。
• 提出缩放梯度下降（RGD）作为梯度下降和归一化梯度下降的推广，实现更优的收敛速率。
• 在相同的光滑性条件下，利用两种成熟框架——Nesterov风格与Monteiro-Svaiter风格——对RGD进行加速。
• 将李雅普诺夫框架扩展至推导具有Hölder连续梯度的函数的最优通用高阶张量方法。
• 将该框架推广至坐标下降设置，提升其在机器学习中的广泛应用性。

提出的方法

• 提出一类称为p阶δ-下降算法的算法族，其定义基于涉及梯度对偶范数的进展条件。
• 通过更新规则 $ x_{k+1} = x_k - \eta^{1/(p-1)} \frac{B^{-1}\nabla f(x_k)}{\|\nabla f(x_k)\|_*^{(p-2)/(p-1)}} $ 引入缩放梯度下降（RGD），该规则广义化了梯度下降（p=2）和归一化梯度下降（p=∞）。
• 采用单一李雅普诺夫函数，统一分析Nesterov风格与Monteiro-Svaiter风格框架中的加速机制。
• 应用线搜索以确保进展条件的充分下降，从而实现最优收敛速率。
• 通过将框架扩展至具有Hölder连续(p-1)阶梯度的函数，推导出一种通用的高阶张量方法。
• 将框架适配至坐标下降设置，在相同假设下保持收敛性保证。

实验结果

研究问题

• RQ1 能否在强光滑性假设下，通过统一的李雅普诺夫框架加速一阶方法？若能，收敛速度最快可达多少？
• RQ2 缩放梯度下降（RGD）是否在光滑函数上实现比标准梯度下降更快的收敛？能否利用现有框架实现加速？
• RQ3 李雅普诺夫框架能否扩展至推导具有Hölder连续梯度的函数的最优通用高阶张量方法？
• RQ4 加速与收敛性分析能否推广至坐标下降设置？
• RQ5 加速后的RGD收敛速率与现有方法（如Runge-Kutta离散化或共形哈密顿动力学）相比如何？

主要发现

• 在强光滑性假设下，缩放梯度下降（RGD）对凸函数实现了 $ O(1/( heta k)^{p-1}) $ 的收敛速率，优于标准梯度下降。
• 在Nesterov风格框架下，加速后的RGD达到 $ O(1/( heta k)^p) $ 的收敛速率，与光滑凸函数的最优已知速率一致。
• 在Monteiro-Svaiter风格框架下结合线搜索，加速后的RGD实现了更快的 $ O(1/( heta k)^{(3p-2)/2}) $ 收敛速率，该速率在给定光滑性条件下为最优。
• 所提出的李雅普诺夫框架可推导出具有Hölder连续(p-1)阶梯度的函数的最优通用高阶张量方法，收敛速率达到 $ O(1/( heta k)^{(3(p-1+\nu)-2)/2}) $。
• 该框架成功推广至坐标下降设置，保持收敛性保证，并可应用于稀疏与结构化优化问题。
• 数值实验验证了理论收敛速率，且该方法在机器学习中的强光滑损失函数上得到验证。