[论文解读] A Lyapunov Analysis of Momentum Methods in Optimization

Ashia Wilson, Benjamin Recht+1 more|arXiv (Cornell University)|Nov 8, 2016

Stochastic Gradient Optimization Techniques参考文献 4被引用 139

一句话总结

论文展示了估计序列与 Lyapunov 函数在动量方法中的等价性，发展了在连续时间和离散时间上的统一的 Lyapunov 基础分析，并通过 Bregman Lagrangians 的离散化推导出新的和现有的加速算法。

ABSTRACT

Momentum methods play a significant role in optimization. Examples include Nesterov's accelerated gradient method and the conditional gradient algorithm. Several momentum methods are provably optimal under standard oracle models, and all use a technique called estimate sequences to analyze their convergence properties. The technique of estimate sequences has long been considered difficult to understand, leading many researchers to generate alternative, "more intuitive" methods and analyses. We show there is an equivalence between the technique of estimate sequences and a family of Lyapunov functions in both continuous and discrete time. This connection allows us to develop a simple and unified analysis of many existing momentum algorithms, introduce several new algorithms, and strengthen the connection between algorithms and continuous-time dynamical systems.

研究动机与目标

• 为优化中的动量方法构建统一的 Lyapunov 基础框架提供动机。
• 在连续时间与离散时间中展示估计序列与 Lyapunov 函数的等价性。
• 通过对 Bregman Lagrangians 的连续时间动力学进行离散化，推导并分析离散时间算法。
• 加强优化算法与连续时间动力系统之间的联系。

提出的方法

• 定义 Bregman Lagrangian 以及带有 理想缩放条件的第二个 Bregman Lagrangian，以获得描述连续时间动力学的 Euler–Lagrange 方程。
• 为这些动力学构建随时间变化的 Lyapunov 函数以证明收敛速率。
• 使用显式和隐式欧拉法对连续时间动力学进行离散化，并映射到可实际使用的算法。
• 通过不同的离散化方案和一个每次迭代都下降的 Lyapunov 函数，引入并分析加速方法。
• 给出一般的收敛性保证形式 E_t 或 E_k 单调下降，在理想缩放下获得 O(1/β_t) 或 O(1/A_k) 的速率。
• 讨论在特定的映射 G 或梯度更新的选择下，各种已知的加速方法如何作为特例出现。

实验结果

研究问题

• RQ1 估计序列在动量方法中能否被 Lyapunov 函数替代，以在连续时间和离散时间上分析收敛性？
• RQ2 连续时间的 Bregman Lagrangian 动力学与离散时间优化算法之间的精确联系是什么？
• RQ3 欧拉–拉格朗日方程的离散化如何产生具有可证明收敛速率的加速优化算法？
• RQ4 在何种条件下 Lyapunov 函数能证明动量和加速方法的收敛速率？
• RQ5 现有的加速方法如何适应统一的 Lyapunov 与离散化框架？

主要发现

• 开发了一个 Lyapunov 框架，统一了动量方法的连续时间与离散时间分析。
• 两类 Bregman Lagrangians 产生的 Euler–Lagrange 方程，其 Lyapunov 函数在理想缩放成立时给出 O(1) 的收敛度。
• 离散时间的 Lyapunov 函数为隐式和加速方案提供了一般的 O(1/A_k) 收敛保证。
• 如梯度/镜像下降和通用高阶方法等加速方法，作为具有适当 G 更新和光滑性假设的离散化结果出现。
• 分析表明估计序列与 Lyapunov 函数等价，从而获得一个更简单的、动力系统视角的理解。