[论文解读] A Unified Convergence Analysis of First Order Convex Optimization Methods via Strong Lyapunov Functions

Long Chen, Hao Luo|arXiv (Cornell University)|Jul 31, 2021

Sparse and Compressive Sensing Techniques参考文献 22被引用 5

一句话总结

本文提出了一种基于强李雅普诺夫函数的首阶凸优化方法统一收敛性分析框架，通过连续动力系统系统推导并分析梯度下降、动量法及奈斯特罗夫加速等算法。核心贡献在于提出一种强李雅普诺夫条件，可确保指数或代数收敛速率，并通过时间缩放统一处理凸与强凸情形。

ABSTRACT

We present a unified convergence analysis for first order convex optimization methods using the concept of strong Lyapunov conditions. Combining this with suitable time scaling factors, we are able to handle both convex and strong convex cases, and establish contraction properties of Lyapunov functions for many existing ordinary differential equation models. Then we derive prevailing first order optimization algorithms, such as proximal gradient methods, heavy ball methods (also known as momentum methods), Nesterov accelerated gradient methods, and accelerated proximal gradient methods from numerical discretizations of corresponding dynamical systems. We also apply strong Lyapunov conditions to the discrete level and provide a more systematical analysis framework. Another contribution is a novel second order dynamical system called Hessian-driven Nesterov accelerated gradient flow which can be used to design and analyze accelerated first order methods for smooth and non-smooth convex optimizations.

研究动机与目标

• 开发一种基于李雅普诺夫函数的首阶凸优化方法统一分析框架。
• 解决现有理论中缺乏从ODE性质映射到离散算法收敛性的通用理论问题。
• 通过时间缩放与强李雅普诺夫条件，统一处理凸与强凸情形。
• 提供一种系统化方法，用于验证收敛速率，避免临时性的代数操作。
• 从连续动力系统出发，推导并分析加速算法，包括一种新型的海森矩阵驱动的奈斯特罗夫流。

提出的方法

• 引入强李雅普诺夫条件的概念：满足 $ -\nabla\mathcal{L} \cdot \mathcal{G} \geq c(\bm{x})\mathcal{L}^q + p^2(\bm{x}) $ 的李雅普诺夫函数，实现收敛速率的估计。
• 应用时间缩放，统一处理凸情形（$ q > 1 $）与强凸情形（$ q = 1 $）的收敛性分析。
• 将标准算法（如邻近梯度、动量法、奈斯特罗夫法）作为ODE的半隐式或显式离散化形式推导。
• 提出一种新型的海森矩阵驱动的奈斯特罗夫加速梯度流，用于设计与分析加速方法。
• 利用凸性不等式验证强李雅普诺夫条件，例如对 $ f \in \mathcal{S}_{\mu,L}^1 $ 的改进下界。
• 在离散层面通过强李雅普诺夫条件建立收敛性，确保 $ \mathcal{L}_{k+1} \leq \frac{\mathcal{L}_k}{1 + \alpha_k} $。

实验结果

研究问题

• RQ1 能否基于李雅普诺夫函数开发一种首阶凸优化方法的统一收敛性分析框架？
• RQ2 强李雅普诺夫条件如何系统化地用于推导与分析不同算法的收敛速率？
• RQ3 该框架能否通过时间缩放统一处理凸与强凸情形？
• RQ4 能否推导出如海森矩阵驱动流等新型动力系统，以提升优化中的加速性能？
• RQ5 强李雅普诺夫条件能否通过凸函数不等式验证，而非复杂代数操作？

主要发现

• 强李雅普诺夫条件确保：当 $ q = 1 $ 时，$ \mathcal{L}(t) = O(e^{-ct}) $ 指数衰减；当 $ q > 1 $ 时，$ \mathcal{L}(t) = O(t^{1/(1-q)}) $ 代数衰减。
• 通过时间缩放，该框架统一了凸与强凸问题的收敛性分析，避免了分情况处理。
• 离散李雅普诺夫函数满足 $ \mathcal{L}_{k+1} \leq \frac{\mathcal{L}_k}{1 + \alpha_k} $，从而导出 $ O(1/k^2) $ 与 $ O((1 + \sqrt{\mu/L})^{-k}) $ 的收敛速率。
• 对于加速邻近梯度法，在 $ \gamma_0 = rL \geq \mu $ 条件下，可建立边界 $ \mathcal{L}_k \leq \mathcal{L}_0 \cdot \min\left\{ \left(\frac{2}{2 + \sqrt{r}\,k}\right)^2, \left(1 + \sqrt{\frac{\mu}{L}}\right)^{-k} \right\} $。
• 改进的凸性边界（145）使得仅通过凸函数不等式即可验证强李雅普诺夫条件，避免了复杂代数运算。
• 引入了海森矩阵驱动的奈斯特罗夫流，作为设计与分析加速方法的新二阶动力系统。