[論文レビュー] First order optimization methods based on Hessian-driven Nesterov accelerated gradient flow

Long Chen, Hao Luo|arXiv (Cornell University)|Dec 19, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用数 10

ひとこと要約

本稿では、ヘッセ情報を取り入れて1階最適化を安定化・加速する、新たな2階常微分方程式モデルであるヘッセ駆動型ネステロフ加速勾配（H-NAG）フローを提案する。このフローを明示的および陰的スキームで離散化することで、最適収束率—凸問題ではO(1/k²)、強凸問題ではO((1+√(μ/L))⁻ᵏ)を達成する新しい1階手法が導出される。同時に勾配ノルムの急速な減少も保証される。

ABSTRACT

A novel dynamical inertial Newton system, which is called Hessian-driven Nesterov accelerated gradient (H-NAG) flow is proposed. Convergence of the continuous trajectory are established via tailored Lyapunov function, and new first-order accelerated optimization methods are proposed from ODE solvers. It is shown that (semi-)implicit schemes can always achieve linear rate and explicit schemes have the optimal(accelerated) rates for convex and strongly convex objectives. In particular, Nesterov's optimal method is recovered from an explicit scheme for our H-NAG flow. Furthermore, accelerated splitting algorithms for composite optimization problems are also developed.

研究の動機と目的

• 凸および強凸問題に対する加速1階最適化手法を体系的に生成する統一的な動的システムの構築を目的とする。
• 連続的慣性ニュートン系を用いたヘッセ駆動型減衰を導入することで、ネステロフ型手法における不安定性および振動を解消することを目的とする。
• 連続的および離散的ダイナミクスの両者に対して、特化したリャプノフ関数を用いて収束保証を確立することを目的とする。
• 勾配マッピングおよびプロキシマル技術を用いて、合成凸最適化問題へのフレームワークの拡張を目的とする。
• 明示的離散化が、既知の最適手法（例：ネステロフの手法、FISTA）を統一的なODEベースの枠組みで回復できることを示すこと。

提案手法

• 動的減衰γ′ = μ − γおよびヘッセ駆動項γβ∇²f(x)x′を有する2階ODEとしてH-NAGフローを提案し、軌道の安定化と振動の低減を実現する。
• ヘッセの明示的計算を回避するため、H-NAGフローを1階系に再定式化し、C¹関数および非滑らか設定における部分勾配を用いた応用を可能にする。
• 連続的軌道の指数的減衰および収束を証明するため、リャプノフ関数L(t) = f(x(t)) − f(x*) + (γ(t)/2)‖v(t) − x*‖²を導入する。
• 半陰的および明示的時間離散化スキーム（例：アルゴリズム1）を構築し、リャプノフ構造を保持するとともに、最適収束率を保証する。
• 滑らかでない凸関数gを含む合成問題f = h + gに適用するため、勾配マッピング技術を導入する。
• 離散的リャプノフ不等式を導出し、目的関数の差と勾配ノルムをバインドすることで、収束速度解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ヘッセ情報を組み込んだ連続的動的システムを設計することで、凸および強凸問題に対する加速1階最適化手法を統一的かつ体系的に生成できるか？
• RQ2 ヘッセ駆動型減衰は、標準的なネステロフ型フローと比較して、安定性および収束性をどのように向上させるか？
• RQ3 H-NAGフローの明示的時間離散化は、凸問題に対して最適なO(1/k²)収束率、強凸問題に対してO((1+√(μ/L))⁻ᵏ)収束率を達成できるか？
• RQ4 非滑らか成分を含む合成凸最適化問題へ、このフレームワークを拡張できるか？
• RQ5 離散スキームは、連続フローで観察された強力なリャプノフ性質を保持するか？ これにより、厳密な収束解析が可能になるか？

主な発見

• H-NAGフローは、リャプノフ関数の指数的減衰を保証し、勾配ノルムの二乗積分が減衰パラメータβによって制御される。
• 半陰的スキームは、時間ステップαₖが下限で有界であれば、離散的リャプノフ不等式により線形収束を達成する。
• 明示的スキーム（例：アルゴリズム1）は、凸および強凸両ケースで最適収束率O(min{1/k², (1+√(μ/L))⁻ᵏ})を達成する。
• 勾配ノルムは急速に減少し、∑(λₖ/λᵢ)‖∇f(xᵢ)‖² ≤ O(λₖℒ₀)というバインドが得られる。ここでλₖはパラメータに応じてO(1/k²)または指数的に減少する。
• 明示的スキームは、βₖ = 1/(Lαₖ)およびαₖ = √(γₖ/L)のとき、ネステロフの最適手法を正確に回復する。これにより、既知の結果と一貫性が確認される。
• 合成問題では、凸ケースでFISTAが回復され、強凸ケースでは勾配マッピングを用いて新たな加速プロキシマル手法が得られる。