[論文レビュー] A Unified Convergence Analysis of First Order Convex Optimization Methods via Strong Lyapunov Functions

Long Chen, Hao Luo|arXiv (Cornell University)|Jul 31, 2021

Sparse and Compressive Sensing Techniques参考文献 22被引用数 5

ひとこと要約

本稿は、強いリャプノフ関数を用いた一階凸最適化手法の統一的収束解析フレームワークを導入し、勾配降下法、ヘヴィーボール法、ネステロフ加速法などのアルゴリズムを連続的力学系から体系的に導出・解析可能にする。主な貢献は、指数的または代数的収束速度を保証する強力なリャプノフ条件であり、時間スケーリングを用いて凸および強凸の場合を統一的に取り扱う。

ABSTRACT

We present a unified convergence analysis for first order convex optimization methods using the concept of strong Lyapunov conditions. Combining this with suitable time scaling factors, we are able to handle both convex and strong convex cases, and establish contraction properties of Lyapunov functions for many existing ordinary differential equation models. Then we derive prevailing first order optimization algorithms, such as proximal gradient methods, heavy ball methods (also known as momentum methods), Nesterov accelerated gradient methods, and accelerated proximal gradient methods from numerical discretizations of corresponding dynamical systems. We also apply strong Lyapunov conditions to the discrete level and provide a more systematical analysis framework. Another contribution is a novel second order dynamical system called Hessian-driven Nesterov accelerated gradient flow which can be used to design and analyze accelerated first order methods for smooth and non-smooth convex optimizations.

研究の動機と目的

• リャプノフ関数を用いた一階凸最適化手法の統一的フレームワークの構築を目的とする。
• ODEの性質から離散的アルゴリズムの収束を一括してマッピングする一般理論の欠如を解消することを目的とする。
• 時間スケーリングと強力なリャプノフ条件を用いて、凸および強凸の場合を統一的に取り扱うことを目的とする。
• 臨戦的な代数的変形を避けて収束レートを体系的に検証する方法を提供することを目的とする。
• 連続的力学系から加速アルゴリズム（例えば、新規のヘッシアン駆動型ネステロフフローを含む）を導出し、解析することを目的とする。

提案手法

• 強力なリャプノフ条件の導入：リャプノフ関数が $ -\nabla\mathcal{L} \cdot \mathcal{G} \geq c(\bm{x})\mathcal{L}^q + p^2(\bm{x}) $ を満たすものとし、収束速度の推定を可能にする。
• 時間スケーリングを適用し、凸（$ q > 1 $）および強凸（$ q = 1 $）の場合の収束解析を統一する。
• 標準的アルゴリズム（例：プロキシマル勾配、ヘヴィーボール、ネステロフ）をODEの半陽的または陽的離散化として導出する。
• 加速手法の設計・解析のための新規なヘッシアン駆動型ネステロフ加速勾配フローを提案する。
• 凸性不等式（例：$ f \in \mathcal{S}_{\mu,L}^1 $ のための精密な下界）を用いて強力なリャプノフ条件を検証する。
• 離散レベルにおける強力なリャプノフ条件を確立し、$ \mathcal{L}_{k+1} \leq \frac{\mathcal{L}_k}{1 + \alpha_k} $ を満たすことで、離散的収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 リャプノフ関数を用いた一階凸最適化手法の統一的収束解析フレームワークを構築できるか？
• RQ2 強力なリャプノフ条件を用いて、異なるアルゴリズムの収束速度を体系的に導出し、解析できるか？
• RQ3 時間スケーリングを用いて、凸および強凸の場合を統一的に取り扱えるか？
• RQ4 ヘッシアン駆動型フローなどの新規な力学系を導出し、最適化における加速を向上させられるか？
• RQ5 複雑な代数的変形を避けて、凸関数の不等式を用いて強力なリャプノフ条件を検証できるか？

主な発見

• 強力なリャプノフ条件により、$ q = 1 $ の場合に指数的減衰 $ \mathcal{L}(t) = O(e^{-ct}) $、$ q > 1 $ の場合に代数的減衰 $ \mathcal{L}(t) = O(t^{1/(1-q)}) $ が保証される。
• 時間スケーリングを用いることで、凸問題と強凸問題の収束解析が統一され、個別処理を回避できる。
• 離散リャプノフ関数は $ \mathcal{L}_{k+1} \leq \frac{\mathcal{L}_k}{1 + \alpha_k} $ を満たし、収束速度が $ O(1/k^2) $ および $ O((1 + \sqrt{\mu/L})^{-k}) $ のオーダーに達する。
• 加速プロキシマル勾配法に対して、$ \gamma_0 = rL \geq \mu $ の下で、$ \mathcal{L}_k \leq \mathcal{L}_0 \cdot \min\left\{ \left(\frac{2}{2 + \sqrt{r}\,k}\right)^2, \left(1 + \sqrt{\frac{\mu}{L}}\right)^{-k} \right\} $ の境界が確立される。
• 精密化された凸性下界（145式）により、複雑な代数的変形を避けて強力なリャプノフ条件の検証が可能になる。
• ヘッシアン駆動型ネステロフフローが、加速手法の設計・解析のための新規な2次元力学系として導入される。