[論文レビュー] On the Convergence of Weighted AdaGrad with Momentum for Training Deep Neural Networks

Fangyu Zou, Li Shen|arXiv (Cornell University)|Aug 10, 2018

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿では、座標毎に重み付けされたAdaGradとヘヴィーメタル（Heavy Ball）およびネステロフ加速勾配（Nesterov）勾配をそれぞれ組み合わせた、自己適応的確率最適化手法AdaHBおよびAdaNAGを提案する。非凸確率的設定において、非漸近的収束速度O(log T / √T)を確立し、AdamやRMSPropの挙動に対する理論的裏付けを提供するとともに、モーメンタムが消滅する場合に座標毎AdaGradが特殊ケースとして回復されることを示している。

ABSTRACT

Adaptive stochastic gradient descent methods, such as AdaGrad, RMSProp, Adam, AMSGrad, etc., have been demonstrated efficacious in solving non-convex stochastic optimization, such as training deep neural networks. However, their convergence rates have not been touched under the non-convex stochastic circumstance except recent breakthrough results on AdaGrad, perturbed AdaGrad and AMSGrad. In this paper, we propose two new adaptive stochastic gradient methods called AdaHB and AdaNAG which integrate a novel weighted coordinate-wise AdaGrad with heavy ball momentum and Nesterov accelerated gradient momentum, respectively. The $\mathcal{O}(\frac{\log{T}}{\sqrt{T}})$ non-asymptotic convergence rates of AdaHB and AdaNAG in non-convex stochastic setting are also jointly established by leveraging a newly developed unified formulation of these two momentum mechanisms. Moreover, comparisons have been made between AdaHB, AdaNAG, Adam and RMSProp, which, to a certain extent, explains the reasons why Adam and RMSProp are divergent. In particular, when momentum term vanishes we obtain convergence rate of coordinate-wise AdaGrad in non-convex stochastic setting as a byproduct.

研究の動機と目的

• 非凸確率的最適化におけるAdam や RMSProp などの自己適応的確率勾配法の収束速度解析が不足しているという問題に取り組む。
• 収束特性を向上させるために、モーメンタムを座標毎AdaGradに統合した新しい自己適応的手法を開発する。
• ヘヴィーメタルおよびネステロフモーメンタムのメカニズムを自己適応的最適化において統一的に分析する理論的枠組みを提供する。
• 提案手法との理論的比較を通じて、Adam や RMSProp が特定の状況で発散する理由を解明する。
• モーメンタムを除去した場合に、標準AdaGradの収束速度が特殊ケースとして回復されることを示す。

提案手法

• ヘヴィーメタルモーメンタムと座標毎重み付きAdaGradを組み合わせた自己適応的手法AdaHBを、モーメンタム機構の新規統一的定式化を用いて提案する。
• 同じ統一的フレームワークを用いて、ネステロフ加速勾配モーメンタムをAdaGradに拡張したAdaNAGを導入する。
• ヘヴィーメタルおよびネステロフモーメンタムを同時に捉える新しい統一的定式化を構築し、両者の共同理論的分析を可能にする。
• 非漸近的解析技術を用いて、非凸確率的最適化設定下での収束速度を導出する。
• 歴史的勾配に基づいて各パラメータごとに学習率を適応的に調整する重み付き座標毎AdaGrad更新則を採用する。
• 期待勾配ノルムの上限をとることで収束を分析し、O(log T / √T)のレートを導出する。

実験結果

リサーチクエスチョン

• RQ1 自己適応的最適化において、ヘヴィーメタルおよびネステロフモーメンタムを統一的に分析できる理論的枠組みを開発できるか？
• RQ2 非凸確率的設定下でAdaGradとモーメンタムを組み合わせた自己適応的手法の非漸近的収束速度は何か？
• RQ3 Adam や RMSProp が特定の状況で発散する理由は何か？また、それらは提案手法とどのように異なるか？
• RQ4 モーメンタムを除去した場合に、提案手法が標準AdaGradの収束速度を回復するか？
• RQ5 重み付き座標毎AdaGradとモーメンタム統合が最適化の安定性および収束に与える影響は何か？

主な発見

• AdaHBおよびAdaNAGは、非凸確率的最適化においてO(log T / √T)の非漸近的収束速度を達成しており、これは顕著な理論的貢献である。
• 提案されたヘヴィーメタルおよびネステロフモーメンタムの統一的定式化により、両者の自己適応的設定下での挙動に関する理論的洞察が得られ、共同解析が可能になった。
• 解析により、Adam や RMSProp が特定の条件下で安定な勾配適応を維持できないことの原因が明らかになり、発散の理由が説明された。
• モーメンタム項が消滅する場合、提案手法は座標毎AdaGradに簡略化され、その収束速度は既知のO(log T / √T)レートと一致する。
• 理論的枠組みは、深層学習における自己適応的最適化手法の理解と改善の基盤を提供する。
• 結果から、非凸設定における収束を保証するためには、自己適応的手法におけるモーメンタム統合を注意深く設計する必要があることが示唆される。