[論文レビュー] Accelerated First-Order Methods: Differential Equations and Lyapunov Functions

Jonathan W. Siegel|arXiv (Cornell University)|Mar 13, 2019

Stochastic Gradient Optimization Techniques参考文献 23被引用数 15

ひとこと要約

本稿では、減衰付きハミルトニアン微分方程式の離散化を通じて、加速された一次順序最適化手法を統一的に導出するフレームワークを提示する。リャプノフ関数を用いて収束を証明する。物理的直感として最適な減衰の仕組みを説明し、ネステロフの手法、FISTA、加速付き座標降下法を、適切な離散化スキームを用いた同一の連続的ダイナミクスの特殊ケースとして導出する。

ABSTRACT

We develop a theory of accelerated first-order optimization from the viewpoint of differential equations and Lyapunov functions. Building upon the previous work of many researchers, we consider differential equations which model the behavior of accelerated gradient descent. Our main contributions are to provide a general framework for discretizating the differential equations to produce accelerated methods, and to provide physical intuition which helps explain the optimal damping rate. An important novelty is the generality of our approach, which leads to a unified derivation of a wide variety of methods, including versions of Nesterov's accelerated gradient descent, FISTA, and accelerated coordinate descent.

研究の動機と目的

• NesterovのAGD、FISTA、加速付き座標降下法といった多様な加速された一次順序最適化手法を、一つの連続時間的力学系に統合すること。
• それらの加速手法における最適な減衰率の物理的解釈を、減衰付きハミルトニアン系としてモデル化することで提示すること。
• 収束保証を維持する一般化された減衰付き二階微分方程式の離散化スキームを構築すること。
• 滑らかでない複合目的関数および確率的設定への拡張を図り、加速付き座標降下法を含む応用を可能にすること。
• リャプノフ関数を用いた収束の確立と、推定列技法および連続時間的ダイナミクスとの関連を示すこと。

提案手法

• 加速最適化を、特定の減衰係数を有するハミルトニアンダイナミクスを表す減衰付き二階微分方程式としてモデル化する。
• リャプノフ関数を用いて安定性と収束を証明する。関数は目的変数の二次項と運動量に関連する項を組み合わせたものである。
• 明示的な位置更新、半陰的な速度更新、および収束を保証するための2次補正項を含む一般化された離散化スキームを導出する。
• 滑らかな目的関数に適用することで、ネステロフの加速勾配法を回復し、複合目的関数に適用することでFISTAを導出する。
• 確率的設定に適応するため、離散化をランダムな座標更新に拡張し、加速付き座標降下法を導出する。
• リャプノフ関数が非増加であることを示すことで収束を証明し、強凸性およびLipschitz勾配仮定から導かれる不等式を活用する。

実験結果

リサーチクエスチョン

• RQ1 多様な加速された一次順序最適化手法を覆す単一の連続時間的力学系が存在するか？
• RQ2 加速手法における最適な減衰率の物理的解釈は何か？ また、収束速度とどのように関係するか？
• RQ3 滑らか、複合的、確率的設定のすべてにおいて収束性を保つ一般化された離散化フレームワークをどのように設計できるか？
• RQ4 リャプノフ関数のアプローチを、推定列技法といった既存の収束証明技法と体系的に結びつけることは可能か？
• RQ5 同じ基本微分方程式フレームワークから、加速付き座標降下法やその他の確率的手法を導出することは可能か？

主な発見

• 本稿では、ネステロフの加速勾配降下法、FISTA、加速付き座標降下法が、すべて同一の減衰付きハミルトニアン系の特別な離散化として生じることを確立した。
• 連続系における最適な減衰率は、臨界減衰に対応し、振動を最小限に抑えながら最小値への収束を最も速くする。
• 明示的な位置更新、半陰的な速度ステップ、および収束を維持するための2次補正項を含む一般化された離散化スキームが導出された。
• 凸ケースにおいて $ f = g + h $、$ g $ が $ L $-スムーズで $ h $ が凸であるとき、収束速度 $ f(x_n) - f(x^*) \leq \frac{2L}{n(n+2)}\|x_0 - x^*\|^2 $ を達成し、既知の最適レートと一致する。
• 収束証明は、勾配と運動量の項が二次的バインドによって関連づけられた非増加リャプノフ関数に依存する。
• ラインサーチを用いたステップサイズの適応的選択が可能であり、$ L $ を事前に知る必要がなくとも最適収束速度を達成できる。