[论文解读] Accelerated First-Order Methods: Differential Equations and Lyapunov Functions

Jonathan W. Siegel|arXiv (Cornell University)|Mar 13, 2019

Stochastic Gradient Optimization Techniques参考文献 23被引用 15

一句话总结

本文通过将阻尼哈密顿微分方程进行离散化，提出了一套统一的框架，用于推导加速的一阶优化方法，并利用李雅普诺夫函数证明收敛性。该框架通过最优阻尼的物理解释阐明了加速机制，并将内斯特罗夫方法、FISTA以及加速坐标下降法均作为同一连续动力系统的特例，通过适当的离散化方案导出。

ABSTRACT

We develop a theory of accelerated first-order optimization from the viewpoint of differential equations and Lyapunov functions. Building upon the previous work of many researchers, we consider differential equations which model the behavior of accelerated gradient descent. Our main contributions are to provide a general framework for discretizating the differential equations to produce accelerated methods, and to provide physical intuition which helps explain the optimal damping rate. An important novelty is the generality of our approach, which leads to a unified derivation of a wide variety of methods, including versions of Nesterov's accelerated gradient descent, FISTA, and accelerated coordinate descent.

研究动机与目标

• 将多种加速一阶方法——如内斯特罗夫的AGD、FISTA以及加速坐标下降法——统一于单一连续时间动力系统之下。
• 通过将优化方法建模为阻尼哈密顿系统，提供加速方法中最佳阻尼率的物理解释。
• 设计一种适用于阻尼二阶微分方程的一般离散化方案，以保持收敛性保证并导出加速方法。
• 将该框架扩展至非光滑复合目标函数及随机设置，包括加速坐标下降法。
• 通过李雅普诺夫函数建立收敛性，并将分析与估计序列技术及连续时间动力学相联系。

提出的方法

• 将加速优化建模为表示哈密顿动力学的阻尼二阶微分方程，其中阻尼系数具有特定形式。
• 使用李雅普诺夫函数证明稳定性与收敛性，该函数结合了对偶变量的二次项与与动量相关的项。
• 推导一种一般离散化方案，包含显式的位置更新、半隐式的速度更新，以及为确保充分下降而引入的二阶扰动。
• 将该框架应用于光滑目标函数，以恢复内斯特罗夫的加速梯度方法；应用于复合目标函数，以推导FISTA。
• 通过将离散化适配于随机坐标更新，将方法扩展至随机设置，从而得到加速坐标下降法。
• 通过证明李雅普诺夫函数非增来证明收敛性，利用强凸性与Lipschitz梯度假设导出的不等式。

实验结果

研究问题

• RQ1 是否存在一个单一的连续时间动力系统，能够统一解释多种加速一阶方法？
• RQ2 加速方法中的最佳阻尼率具有何种物理解释？其与收敛速度有何关联？
• RQ3 如何设计一种通用的离散化框架，以在光滑、复合及随机设置下保持收敛性质？
• RQ4 李雅普诺夫函数方法能否系统性地与现有收敛性证明技术（如估计序列）相联系？
• RQ5 是否能够从同一基本微分方程框架中推导出加速坐标下降法及其他随机方法？

主要发现

• 本文确立了内斯特罗夫加速梯度下降法、FISTA以及加速坐标下降法均是同一阻尼哈密顿系统在特定离散化方案下的特例。
• 在连续系统中，最佳阻尼率对应临界阻尼，可最小化振荡并确保最快收敛至最小值。
• 推导出一种通用离散化方案，包含显式位置更新、半隐式速度步长，以及为保持收敛性而引入的二阶扰动。
• 对于凸情形 $ f = g + h $，其中 $ g $ 为 $ L $-光滑且 $ h $ 为凸函数，该方法实现收敛速率 $ f(x_n) - f(x^*) \leq \frac{2L}{n(n+2)}\|x_0 - x^*\|^2 $，与已知最优速率一致。
• 收敛性证明依赖于一个非增的李雅普诺夫函数，其递减条件通过梯度与动量项之间的二次有界性建立。
• 该框架支持通过线搜索实现自适应步长选择，无需预先知晓 $ L $，同时仍可达到最优收敛速率。