[論文レビュー] Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization

Tianbao Yang, Qihang Lin+1 more|arXiv (Cornell University)|Apr 12, 2016

Stochastic Gradient Optimization Techniques参考文献 7被引用数 90

ひとこと要約

本稿は、凸最適化および非凸最適化の両方において、確率的モーメンタム手法—確率的ヘヴィーメタル（HB）および確率的ネステロフの加速勾配（S-NAG）—の統一的収束解析フレームワークを提示する。両手法が、目的関数値（凸）および勾配ノルム（非凸）において期待収束率 $O(1/\sqrt{t})$ を達成することを確立した。このフレームワークにより、自由パラメータを介して勾配降下法からNAG、そしてHBへの連続的遷移が明らかになり、深層学習における観察された学習およびテスト誤差のダイナミクスを説明する。

ABSTRACT

Recently, {\it stochastic momentum} methods have been widely adopted in training deep neural networks. However, their convergence analysis is still underexplored at the moment, in particular for non-convex optimization. This paper fills the gap between practice and theory by developing a basic convergence analysis of two stochastic momentum methods, namely stochastic heavy-ball method and the stochastic variant of Nesterov's accelerated gradient method. We hope that the basic convergence results developed in this paper can serve the reference to the convergence of stochastic momentum methods and also serve the baselines for comparison in future development of stochastic momentum methods. The novelty of convergence analysis presented in this paper is a unified framework, revealing more insights about the similarities and differences between different stochastic momentum methods and stochastic gradient method. The unified framework exhibits a continuous change from the gradient method to Nesterov's accelerated gradient method and finally the heavy-ball method incurred by a free parameter, which can help explain a similar change observed in the testing error convergence behavior for deep learning. Furthermore, our empirical results for optimizing deep neural networks demonstrate that the stochastic variant of Nesterov's accelerated gradient method achieves a good tradeoff (between speed of convergence in training error and robustness of convergence in testing error) among the three stochastic methods.

研究の動機と目的

• 深層学習における確率的モーメンタム手法の広範な使用と、それらの理論的収束解析の未発達さの間のギャップを埋めること。
• 確率的ヘヴィーメタル、確率的ネステロフ法、および確率的勾配降下法の間の構造的類似性と相違点を明らかにする統一的理論的枠組みを提供すること。
• リプシッツ連続勾配を有する凸および非凸設定において、確率的モーメンタム手法の収束保証を確立すること。
• 深層ニューラルネットワーク最適化における学習誤差とテスト誤差のダイナミクスの遷移を、連続的パラメータ化されたモーメンタム手法の族を用いて説明すること。
• 今後の確率的モーメンタムアルゴリズムの開発と比較のための基盤的リファレンスとして機能すること。

提案手法

• 自由パラメータを用いてモーメンタム手法をパrameter化する統一的フレームワークを提案し、勾配降下法からネステロフの加速法、そしてヘヴィーメタル法への連続的遷移を可能にする。
• 分散が有界な確率的勾配を用いて、同じ理論的枠組みの下で確率的ヘヴィーメタル（HB）および確率的ネステロフの加速勾配（S-NAG）手法を分析する。
• リャプノフ関数解析と再帰的不等式を用いて、凸最適化における期待目的関数値および非凸最適化における期待勾配ノルムの収束レートを導出する。
• リプシッツ連続関数に対して、凸関数において目的関数値が期待的に $O(1/\sqrt{t})$ のレートで収束することを確立する。
• リプシッツ連続勾配を有する非凸関数において、期待勾配ノルムが $O(1/\sqrt{t})$ のレートで収束することを確立する。
• HBおよびNAGを一般化するパラメータ化された更新ルールを用い、モーメンタム項がパラメータに応じて連続的に変化することを示し、深層学習における実証的挙動を模倣する。

実験結果

リサーチクエスチョン

• RQ1 確率的モーメンタム手法（HBおよびS-NAG）は、凸および非凸設定においてどのように収束するのか。その理論的収束レートは何か。
• RQ2 アルゴリズム設計および収束挙動の観点から、確率的ヘヴィーメタル、確率的ネステロフ法、および確率的勾配降下法の間の構造的関係は何か。
• RQ3 統一的理論的枠組みは、深層ニューラルネットワーク最適化における学習およびテスト誤差ダイナミクスの観察された遷移を説明できるか。
• RQ4 なぜ確率的ネステロフ法のバージョンは、HBおよびSGDよりも、学習速度と一般化のロバストネスの間のトレードオフをより良く達成するのか。
• RQ5 モーメンタムパラメータは、確率的モーメンタム手法の収束軌道および安定性にどのように影響するのか。

主な発見

• リプシッツ連続関数に対して、確率的ヘヴィーメタル法および確率的ネステロフの加速勾配法の両方とも、凸最適化において目的関数値の期待収束率が $O(1/\sqrt{t})$ に達することを示した。
• リプシッツ連続勾配を有する非凸最適化において、両手法とも勾配ノルムの期待収束率が $O(1/\sqrt{t})$ に達することを確立した。
• 提案された統一的フレームワークにより、モーメンタムパラメータの変化に伴い、勾配降下法からネステロフ法、そしてヘヴィーメタル法への連続的変換が明らかになり、深層学習で観察されたテスト誤差ダイナミクスの類似した遷移を説明した。
• 実験的結果から、確率的ネステロフ法が、高速な学習誤差低減と安定したテスト誤差収束の両方を達成する良好なトレードオフを実現しており、一般化性能において確率的HBおよび確率的勾配降下法を上回ることが示された。
• 理論的解析は強く凸であることや勾配が有界であることといった強い仮定に依存せず、非凸な深層学習問題に広く適用可能である。
• このフレームワークは、深層学習におけるモーメンタム手法の挙動を理解する理論的根拠を提供し、今後のアルゴリズム開発のベンチマークとして機能する。