[論文レビュー] High-Resolution Modeling of the Fastest First-Order Optimization Method for Strongly Convex Functions

Boya Sun, Jemin George+1 more|arXiv (Cornell University)|Aug 25, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用数 5

ひとこと要約

本稿では、強い凸関数に対してNesterovの加速勾配（NAG）よりも収束が速い最初の順序最適化法である三重モーメンタム（TM）法の高分解能2次ODEモデルを提案する。リャプノフ解析と積分二次制約（IQC）手法を用いて、指数的収束を確認し、NAGよりも速い収束レートを達成していることを示した。数値シミュレーションにより、よりきめの細かいレートバウンズが得られた。

ABSTRACT

Motivated by the fact that the gradient-based optimization algorithms can be studied from the perspective of limiting ordinary differential equations (ODEs), here we derive an ODE representation of the accelerated triple momentum (TM) algorithm. For unconstrained optimization problems with strongly convex cost, the TM algorithm has a proven faster convergence rate than the Nesterov's accelerated gradient (NAG) method but with the same computational complexity. We show that similar to the NAG method to capture accurately the characteristics of the TM method, we need to use a high-resolution modeling to obtain the ODE representation of the TM algorithm. We use a Lyapunov analysis to investigate the stability and convergence behavior of the proposed high-resolution ODE representation of the TM algorithm. We show through this analysis that this ODE model has robustness to deviation from the parameters of the TM algorithm. We compare the rate of the ODE representation of the TM method with that of the NAG method to confirm its faster convergence. Our study also leads to a tighter bound on the worst rate of convergence for the ODE model of the NAG method. Lastly, we discuss the use of the integral quadratic constraint (IQC) method to establish an estimate on the rate of convergence of the TM algorithm. A numerical example demonstrates our results.

研究の動機と目的

• 強い凸関数に対する三重モーメンタム（TM）法の正確な連続時間ODE表現を開発すること。
• リャプノフ関数や積分二次制約（IQC）などの制御理論的ツールを用いて、TM法の安定性および収束性を分析すること。
• 高分解能ODEモデリングが、TMのような加速最初の順序法の真のダイナミクスを捉えるために必要であることを示し、1次ODEではTMとNAGを区別できないこと。
• TMとNAGのODEモデルの収束速度を比較し、TMの優れた性能を確認すること。
• 高分解能解析を用いて、NAG ODEモデルの最悪ケース収束レートに対するよりきついバウンズを提供すること。

提案手法

• ステップサイズを0に近づける極限において、離散的TM法の高分解能2次ODE表現を導出することで、高次のダイナミクスを捉える。
• ODEモデルにリャプノフ解析を適用し、指数的収束およびパrameterのずれに対するロバストネスを証明する。
• 積分二次制約（IQC）フレームワークを用いて、TM ODEモデルの収束速度を推定し、安定性の十分条件を提供する。
• ヘッセ行列とリプシッツ定数を含む、$ M $ と $ L $ でパラメータ化された点ごとのIQC条件を導入し、勾配写像をモデル化する。
• 半正定値計画法を用いて、最大指数的収束レート $ p^{ ext{star}}_{\text{IQC}} $ を計算するための行列不等式条件（32）を採用する。
• さまざまなステップサイズと条件数の下で、TM、NAG、勾配降下法、およびそれらのODE対応物を比較する数値シミュレーションにより理論的知見を検証する。

実験結果

リサーチクエスチョン

• RQ1 高分解能2次ODEは、Nesterovの加速勾配（NAG）よりも優れた収束行動を示す三重モーメンタム（TM）法を正確にモデル化できるか？
• RQ2 高分解能ODEに適用したリャプノフ解析は、TM ODEモデルの指数的収束およびパrameterのずれに対するロバストネスをどのように確認するか？
• RQ3 高分解能ODEモデリングを用いて、NAG法の最悪ケース収束レートの最もきついバウンズはどの程度達成可能か？
• RQ4 積分二次制約（IQC）手法は、TM ODEモデルの収束速度を信頼できる見積もりで提供できるか？
• RQ5 さまざまなステップサイズの下で、TMとNAGのODE表現は収束速度および振動挙動においてどのように比較されるか？

主な発見

• 高分解能ODEモデルは、NAGよりも速い収束およびより少ない振動を含む、離散的TM法の挙動を正確に捉えている。
• リャプノフ解析により、TM ODEモデルの指数的収束が確認され、パrameterのずれに対してもロバストであることが示された。
• TM ODEモデルはNAG ODEモデルよりも速い収束レートを達成しており、TMアルゴリズムの優れた性能が裏付けられた。
• 高分解能解析を用いて、NAG ODEモデルの最悪ケース収束レートに対するよりきついバウンズが導出され、従来の推定値を改善した。
• IQCに基づく手法により、収束速度の見積もり $ p^{ ext{star}}_{\text{IQC}} $ が条件数 $ \kappa $ の増加に伴い減少することが分かった。これは勾配降下法の挙動と整合的である。
• 数値シミュレーションにより、TM ODEは離散的TM法をよく追跡しており、より小さいステップサイズは理論予測通りに振動を減らすが収束を遅くすることが示された。