[论文解读] A Lyapunov analysis for accelerated gradient methods: From deterministic to stochastic case

Maxime Laborde, Adam M. Oberman|arXiv (Cornell University)|Aug 21, 2019

Stochastic Gradient Optimization Techniques参考文献 33被引用 7

一句话总结

本文通过将Nesterov加速梯度法的李雅普诺夫分析从确定性设置扩展到随机设置，并将其与修正的常微分方程（ODE）联系起来，将该方法从确定性推广至随机情形。该研究基于统一的李雅普诺夫框架，适用于完整梯度和随机梯度，建立了加速随机梯度下降的收敛速率，同时在连续时间和离散时间下均恢复了已知的加速收敛速率。

ABSTRACT

Recent work by Su, Boyd and Candes made a connection between Nesterov's accelerated gradient descent method and an Ordinary Differential Equation (ODE). We show that this connection can be extended to the case of stochastic gradients, and develop Lyapunov function based convergence rates proof for Nesterov's accelerated stochastic gradient descent. In the gradient case, we show Nesterov's method arises as a straightforward discretization of a modified ODE. Established Lyapunov analysis is used to recover the accelerated rates of convergence in both continuous and discrete time. Moreover, the Lyapunov analysis can be extended to the case of stochastic gradients. The result is a unified approach to acceleration in both continuous and discrete time, and in for both stochastic and full gradients.

研究动机与目标

• 将Nesterov加速梯度法的基于李雅普诺夫函数的收敛性分析，从确定性设置推广至随机梯度设置。
• 在随机情况下，建立Nesterov方法与修正ODE之间的联系，使其与确定性情况下的关系相一致。
• 统一连续时间和离散时间下的加速分析，适用于完整梯度和随机梯度。
• 利用李雅普诺夫函数推导加速随机梯度下降的收敛速率。
• 提供一个系统化的框架，可在确定性和随机设置下均恢复已知的加速收敛速率。

提出的方法

• 将确定性ODE分析中用于Nesterov方法的李雅普诺夫函数方法，适配至随机梯度情形。
• 推导出在确定性设置下对应于Nesterov加速梯度法的修正ODE，并将其扩展至随机梯度。
• 构建一个李雅普诺夫函数，以捕捉连续时间和离散时间下优化轨迹的能量衰减特性。
• 利用李雅普诺夫函数通过证明其随时间衰减，来证明即使在随机梯度噪声下仍具有收敛速率。
• 将既有的李雅普诺夫分析技术应用于随机设置，确保稳定性和收敛性保证。
• 证明相同的李雅普诺夫框架在确定性和随机设置下均能实现加速收敛速率。

实验结果

研究问题

• RQ1 如何将Nesterov加速梯度法的李雅普诺夫函数分析从确定性设置推广至随机梯度设置？
• RQ2 在随机梯度下，对应于Nesterov方法的ODE形式是什么？它与确定性情况有何关系？
• RQ3 能否开发一个统一的基于李雅普诺夫函数的框架，以分析连续时间和离散时间下完整梯度和随机梯度的加速特性？
• RQ4 利用此李雅普诺夫方法，可建立加速随机梯度下降的哪些收敛速率？
• RQ5 在随机情况下，修正的ODE形式如何保持Nesterov方法的加速收敛特性？

主要发现

• 李雅普诺夫函数框架成功地从确定性设置扩展至随机梯度设置，使得收敛速率分析成为可能。
• 推导出一个修正的ODE，其在确定性情况下对应于Nesterov加速梯度法，并已适配至随机梯度情形。
• 相同的李雅普诺夫函数在连续时间和离散时间下，对完整梯度和随机梯度均证明了加速收敛速率。
• 该分析在确定性情况下恢复了已知的加速收敛速率，验证了其一致性。
• 该框架提供了一种统一的加速分析方法，适用于包括随机优化在内的多种设置。
• 该方法通过基于李雅普诺夫的稳定性分析，为加速随机梯度下降建立了理论收敛保证。