[論文レビュー] A Lyapunov analysis for accelerated gradient methods: From deterministic to stochastic case

Maxime Laborde, Adam M. Oberman|arXiv (Cornell University)|Aug 21, 2019

Stochastic Gradient Optimization Techniques参考文献 33被引用数 7

ひとこと要約

この論文は、Nesterovの加速勾配降下法のリャプノフ解析を、決定論的から確率的設定へと拡張し、修正された常微分方程式（ODE）と関連付けることで、全勾配と確率的勾配の両方に適用可能な統一されたリャプノフフレームワークを用いて、加速確率的勾配降下法の収束速度を確立する。連続時間および離散時間の両方で、既知の加速収束速度が回復される。

ABSTRACT

Recent work by Su, Boyd and Candes made a connection between Nesterov's accelerated gradient descent method and an Ordinary Differential Equation (ODE). We show that this connection can be extended to the case of stochastic gradients, and develop Lyapunov function based convergence rates proof for Nesterov's accelerated stochastic gradient descent. In the gradient case, we show Nesterov's method arises as a straightforward discretization of a modified ODE. Established Lyapunov analysis is used to recover the accelerated rates of convergence in both continuous and discrete time. Moreover, the Lyapunov analysis can be extended to the case of stochastic gradients. The result is a unified approach to acceleration in both continuous and discrete time, and in for both stochastic and full gradients.

研究の動機と目的

• Nesterovの加速勾配降下法のリャプノフ関数に基づく収束解析を、確率的勾配設定へと拡張すること。
• 決定論的状況と同様に、確率的状況におけるNesterov法と修正されたODEとの関連を確立すること。
• 連続時間および離散時間の両方、全勾配と確率的勾配の両方における加速の分析を統一すること。
• リャプノフ関数を用いて、加速確率的勾配降下法の収束速度を導出すること。
• 決定論的および確率的状態の両方で既知の加速収束速度を回復できる体系的なフレームワークを提供すること。

提案手法

• 決定論的ODE解析におけるリャプノフ関数アプローチを、確率的勾配ケースへ適応すること。
• 決定論的状況におけるNesterovの加速勾配降下法に対応する修正されたODEを導出し、これを確率的勾配へ拡張すること。
• 連続時間および離散時間の両方における最適化軌道のエネルギー的減衰を捉えるリャプノフ関数を構築すること。
• リャプノフ関数を用いて、確率的勾配ノイズ下でも時間経過に伴うその減少を示すことにより収束速度を証明すること。
• 確率的設定へ既存のリャプノフ解析技術を適用し、安定性および収束保証を確保すること。
• 同一のリャプノフフレームワークが、決定論的および確率的両状態で加速収束速度をもたらすことを示すこと。

実験結果

リサーチクエスチョン

• RQ1 Nesterovの加速勾配降下法のリャプノフ関数解析を、確率的勾配設定へどのように拡張できるか。
• RQ2 確率的勾配下でNesterov法に対応するODEの定式化は何か。また、決定論的状況とどのように関連するか。
• RQ3 全勾配と確率的勾配の両方、連続時間および離散時間の両方における加速の分析を統一するリャプノフベースのフレームワークを構築できるか。
• RQ4 このリャプノフアプローチを用いて、加速確率的勾配降下法の収束速度をどの程度確立できるか。
• RQ5 確率的状況における修正されたODE定式化は、Nesterov法の加速収束特性をどのように保持するか。

主な発見

• リャプノフ関数フレームワークは、決定論的設定から確率的勾配設定へと成功裏に拡張され、収束速度解析が可能となった。
• 決定論的状況におけるNesterovの加速勾配降下法に対応する修正されたODEが導出され、これが確率的勾配へと適応された。
• 同一のリャプノフ関数が、全勾配および確率的勾配の両方、連続時間および離散時間の両方で加速収束速度の証明に成功した。
• 解析により、決定論的状況での既知の加速収束速度が回復され、一貫性が確認された。
• このフレームワークは、確率最適化を含むさまざまな設定に適用可能な統一的な加速アプローチを提供した。
• リャプノフに基づく安定性解析を用いて、加速確率的勾配降下法の理論的収束保証を確立した。