[论文解读] A Dynamical Systems Perspective on Nesterov Acceleration

Michael Muehlebach, Michael I. Jordan|arXiv (Cornell University)|May 17, 2019

Numerical methods for differential equations参考文献 12被引用 36

一句话总结

论文通过对第二阶微分方程（带曲率相关阻尼的质-弹簤阻尼系统）进行半隐性欧拉离散化，推导Nesterov加速，并分析其连续与离散动力学。

ABSTRACT

We present a dynamical system framework for understanding Nesterov's accelerated gradient method. In contrast to earlier work, our derivation does not rely on a vanishing step size argument. We show that Nesterov acceleration arises from discretizing an ordinary differential equation with a semi-implicit Euler integration scheme. We analyze both the underlying differential equation as well as the discretization to obtain insights into the phenomenon of acceleration. The analysis suggests that a curvature-dependent damping term lies at the heart of the phenomenon. We further establish connections between the discretized and the continuous-time dynamics.

研究动机与目标

• 为Nesterov加速提供动力学系统基础，而不依赖于步长趋近于零。
• 展示将带曲率感知的质-弹簤阻尼ODE离散化为非消失步长的Nesterov加速梯度方法。
• 解释曲率相关阻尼在加速中的作用，并将连续时间动力学与离散时间更新相关联。

提出的方法

• 构造一个带曲率相关阻尼项的二阶ODE，使其作为优化问题的质-弹簤阻尼系统。
• 对具有非消失步长的ODE应用半隐性Euler离散化，从而推导Nesterov加速。
• 将离散化分解为一个非守恒的强迫步骤，随后是保持几何性质的对称Euler步骤。
• 证明离散化在 Ts in (0,1) 时保持相空间面积收缩和时间可逆性。
• 给出基于Lyapunov的分析，以在强凸与非强凸情形下界定收敛速率。

实验结果

研究问题

• RQ1 如何通过对二阶ODE进行离散化而不是通过步长趋近于零来得到Nesterov加速？
• RQ2 曲率相关阻尼在连续与离散动力学中产生加速收敛的作用是什么？
• RQ3 连续系统与离散系统是否保持相空间面积收缩和时间可逆等几何性质？
• RQ4 在该动力学框架下，对强凸与非强凸目标能建立哪些收敛速率？

主要发现

• Nesterov加速源自对建模具有曲率相关阻尼的质-弹簤二阶ODE的半隐性Euler离散化。
• 连续时间动力学在强凸情形下收敛速率至少为1/(2√κ) − 1/(4κ)，在非强凸情形下为O(1/t^2)。
• 离散动力学在 Ts in (0,1) 时保持相空间面积收缩并且时间可逆。
• 对于 Ts in (0,1]，离散时间轨迹线性收敛，速率至少为1 − Ts O(1/√κ)。
• 阻尼项 Dx x˙x 充当曲率的局部加权平均，平衡常阻尼和曲率相关阻尼，从而实现加速。