[論文レビュー] A Lyapunov Analysis of Momentum Methods in Optimization

Ashia Wilson, Benjamin Recht+1 more|arXiv (Cornell University)|Nov 8, 2016

Stochastic Gradient Optimization Techniques参考文献 4被引用数 139

ひとこと要約

本論文はモーメント法におけるestimate sequencesと Lyapunov functions の等価性を示し、連続時間と離散時間の統一的な Lyapunov ベースの解析を展開し、Bregman Lagrangians の離散化を通じて新規および既存の加速アルゴリズムを導出する。

ABSTRACT

Momentum methods play a significant role in optimization. Examples include Nesterov's accelerated gradient method and the conditional gradient algorithm. Several momentum methods are provably optimal under standard oracle models, and all use a technique called estimate sequences to analyze their convergence properties. The technique of estimate sequences has long been considered difficult to understand, leading many researchers to generate alternative, "more intuitive" methods and analyses. We show there is an equivalence between the technique of estimate sequences and a family of Lyapunov functions in both continuous and discrete time. This connection allows us to develop a simple and unified analysis of many existing momentum algorithms, introduce several new algorithms, and strengthen the connection between algorithms and continuous-time dynamical systems.

研究の動機と目的

• 最適化におけるモーメント法のための統一的な Lyapunov ベースの枠組みを動機づける。
• 連続時間と離散時間の両方で、estimate sequences と Lyapunov functions の等価性を示す。
• Bregman Lagrangians からの連続時間ダイナミクスの離散化を介して、離散時間アルゴリズムを導出・解析する。
• 最適化アルゴリズムと連続時間力学系との結びつきを強化する。

提案手法

• 理想的なスケーリング条件を備えた Bregman Lagrangian と第二の Bregman Lagrangian を定義し、連続時間ダイナミクスを記述する Euler–Lagrange 方程式を得る。
• これらのダイナミクスの時間変動 Lyapunov 関数を構築し、収束速度を保証する。
• 明示的および暗黙的 Euler スキームを用いて連続時間ダイナミクスを離散化し、実用的なアルゴリズムに写像する。
• 異なる離散化スキームと各反復で減少する Lyapunov 関数を用いて、加速法を導入・解析する。
• 理想的なスケーリングの下で E_t または E_k が減少する形の一般的な収束保証を提供し、O(1/β_t) または O(1/A_k) の速度を導く。
• 特定の map G や勾配更新の選択の下で、様々な既知の加速法が特別なケースとして現れることを論じる。

実験結果

リサーチクエスチョン

• RQ1 モーメント法で用いられる estimate sequences を Lyapunov 関数に置換して、連続時間と離散時間の両方で収束を解析できるか。
• RQ2 連続時間の Bregman Lagrangian ダイナミクスと離散時間の最適化アルゴリズムとの正確な関係は何か。
• RQ3 Euler–Lagrange 方程式の離散化が、証明可能な収束速度を持つ加速最適化アルゴリズムを生み出すにはどうすればよいか。
• RQ4 Lyapunov 関数がモーメント法と加速法の収束速度を保証する条件は何か。
• RQ5 既存の加速法は、統一された Lyapunov および離散化フレームワークにどう適合するか。

主な発見

• モーメント法の連続時間と離散時間の解析を統合する Lyapunov フレームワークを開発した。
• 2つの Bregman Lagrangian 系により得られる Euler–Lagrange 方程式の Lyapunov 関数は、理想的なスケーリングが成り立つ場合 O-収束速度を与える。
• 離散時間の Lyapunov 関数は、暗黙的および加速スキームに対して一般的な O(1/A_k) 収束保証をもたらす。
• 勾配法/ミラー法や普遍的高次法といった加速法は、適切な G 更新と滑らかさの仮定を用いた離散化として現れる。
• 分析は estimate sequences と Lyapunov 関数の等価性を示し、より簡素な動的システムの観点を可能にする。