[論文レビュー] Understanding the Acceleration Phenomenon via High-Resolution Differential Equations

Bin Shi, Simon S. Du+2 more|arXiv (Cornell University)|Oct 21, 2018

Sparse and Compressive Sensing Techniques参考文献 30被引用数 86

ひとこと要約

本論文は Nesterov の加速勾配法と重球法を区別する高解像度ODEを導入し、勾配補正機構を明らかにし、NAG-C で勾配ノルムの二乗を最小化する際の立方（キュービック）収束速さを示す。

ABSTRACT

Gradient-based optimization algorithms can be studied from the perspective of limiting ordinary differential equations (ODEs). Motivated by the fact that existing ODEs do not distinguish between two fundamentally different algorithms---Nesterov's accelerated gradient method for strongly convex functions (NAG-SC) and Polyak's heavy-ball method---we study an alternative limiting process that yields high-resolution ODEs. We show that these ODEs permit a general Lyapunov function framework for the analysis of convergence in both continuous and discrete time. We also show that these ODEs are more accurate surrogates for the underlying algorithms; in particular, they not only distinguish between NAG-SC and Polyak's heavy-ball method, but they allow the identification of a term that we refer to as "gradient correction" that is present in NAG-SC but not in the heavy-ball method and is responsible for the qualitative difference in convergence of the two methods. We also use the high-resolution ODE framework to study Nesterov's accelerated gradient method for (non-strongly) convex functions, uncovering a hitherto unknown result---that NAG-C minimizes the squared gradient norm at an inverse cubic rate. Finally, by modifying the high-resolution ODE of NAG-C, we obtain a family of new optimization methods that are shown to maintain the accelerated convergence rates of NAG-C for smooth convex functions.

研究の動機と目的

• limiting ODEsを通じた勾配ベースの最適化の動機付けと、従来のODEにおけるNAG-SCと重球法の識別不能性の解決
• アルゴリズムを区別するためにO(sqrt{s})項を保持する高解像度ODEフレームワークを導入する
• 連続時間と離散時間の収束を分析するためのLyapunov関数技法を開発する
• 加速に不可欠な勾配補正項を解明する
• NAG-Cへ拡張し、勾配ノルムの最小化速率に関する新たな知見を導出する

提案手法

• NAG-SCの極限過程でO(sqrt{s})項を含めることにより高解像度ODEを導出し、ヘッセ行列駆動の勾配補正を明らかにする
• 高解像度ODEの連続時間Lyapunov関数を構築し、軌道上での減少を証明する
• 相空間表現を介して連続時間Lyapunov解析を離散時間Lyapunov関数へ翻訳する
• 高解像度ODEフレームワークを用いてNAG-SCとheavy-ball法を比較し、加速の違いを説明する
• 勾配補正項が離散形にも現れ、収束挙動に影響を与えることを示す
• このフレームワークをNAG-Cへ適用して勾配ノルムの二乗最小化に対する立方速率を確立し、拡張を論じる

実験結果

リサーチクエスチョン

• RQ1 高解像度ODEはNAG-SCとPolyakの重球法をどう区別するか？
• RQ2 Hessian駆動の勾配補正はNAG-SCの加速において重球法と比べてどのような役割を果たすか？
• RQ3 連続時間のLyapunov解析はNAG-SCの離散的な加速特性を説明できるか？
• RQ4 NAG-Cにおける勾配ノルムの観点で、関数値だけでなく収束速率はどの程度得られるか？
• RQ5 高解像度ODEフレームワークは加速を維持する新しい最適化法を生み出せるか？

主な発見

• 高解像度ODEは勾配補正項を保持することによりNAG-SCを重球法と区別する。
• 勾配補正項は Hessian による適応減衰を生み出し、加速に寄与する。
• 離散的Lyapunov関数はNAG-SCに対して最適な線形収束率を回収する。
• NAG-Cに対しては、勾配ノルムの二乗を最小化する新たな逆立方速率を示す。
• 高解像度ODEは低解像度ODEよりも離散化アルゴリズムのより正確な代理を提供する。
• NAG-Cの高解像度ODEの修正は滑らかな凸関数に対して加速速率を維持する解法の族を生み出す。