[論文レビュー] Momentum-Based Variance Reduction in Non-Convex SGD

Ashok Cutkosky, Francesco Orabona|OpenBU (Boston University)|May 24, 2019

Stochastic Gradient Optimization Techniques参考文献 28被引用数 31

ひとこと要約

この論文では、非凸確率的最適化のためのモーメンタムに基づく分散低減アルゴリズムStormを提案する。この手法は、大規模な「メガバッチ」や固定学習率の必要性を排除する。適応的学習率と新しいモーメンタム機構を活用することで、勾配分散やチェックポイント勾配の知識を必要とせず、$O(1/T^{1/3})$の最適収束速度を達成する。これは、ハイパーパramータチューニングの簡素化を図りながら、最先端の理論的性能を同等に達成する。

ABSTRACT

Variance reduction has emerged in recent years as a strong competitor to stochastic gradient descent in non-convex problems, providing the first algorithms to improve upon the converge rate of stochastic gradient descent for finding first-order critical points. However, variance reduction techniques typically require carefully tuned learning rates and willingness to use excessively large "mega-batches" in order to achieve their improved results. We present a new algorithm, STORM, that does not require any batches and makes use of adaptive learning rates, enabling simpler implementation and less hyperparameter tuning. Our technique for removing the batches uses a variant of momentum to achieve variance reduction in non-convex optimization. On smooth losses $F$, STORM finds a point $\boldsymbol{x}$ with $\mathbb{E}[\| abla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$ in $T$ iterations with $σ^2$ variance in the gradients, matching the optimal rate but without requiring knowledge of $σ$.

研究の動機と目的

• 既存の分散低減手法が非凸最適化において抱える限界、特に大規模で固定サイズのバッチや手動でチューニングする必要のある学習率に依存している点を是正すること。
• チェックポイント勾配や勾配分散の事前知識を必要とせず、最適な収束速度を達成する実用的で頑健な最適化アルゴリズムの開発。
• モーメンタムの有効性を非凸確率的最適化において、分散低減と正式に結びつける理論的根拠の提示。
• 実験的に、提案手法がAdam や AdaGrad といった標準ベースラインを上回り、最小限のハイパーパramータチューニングで訓練損失の収束が速いことを示すこと。

提案手法

• アルゴリズムは、チェックポイントでの勾配計算を明示的に行わずに分散低減を近似する再帰的モーメンタム更新を用いる。
• 観測された勾配ノイズに基づいて動的に調整される適応的学習率スケジュールを採用し、手動チューニングの必要性を排除する。
• コアな更新ルールは、確率的勾配と履歴勾配情報を追跡するモーメンタム項を組み合わせており、更新方向の分散を効果的に低減する。
• 濃度不等式とべき関数の凹性を活用して、勾配の期待ノルムに対する新しい境界を形式的に分析する。
• 複雑なバッチスケジューリングを避けるシンプルな実装を採用し、標準的なディープラーニングフレームワークと互換性を持つように設計されている。
• 理論的分析により、Stormが滑らかな非凸関数に対して$O(1/T^{1/3})$の最適収束速度を達成することが示され、ノイズレベル$\sigma^2$の知識を必要としない。

実験結果

リサーチクエスチョン

• RQ1 モーメンタムが非凸確率的最適化において、単なるヒューリスティックな改善ではなく、正式に分散低減と結びつけられるか？
• RQ2 勾配チェックポイントのための大規模な「メガバッチ」を使用せずに、非凸SGDで最適な$O(1/T^{1/3})$収束を達成することは可能か？
• RQ3 適応的学習率と分散低減を効果的に組み合わせることで、ディープラーニング最適化におけるハイパーパramータ感受性を低減できるか？
• RQ4 モーメンタムベースのアプローチは、SVRGのような従来の分散低減技術と同等の理論的利点を提供できるか？

主な発見

• Stormは滑らかな非凸問題における一次の臨界点を求める際、$O(1/T^{1/3})$の最適収束速度を達成し、最高の既知の理論的境界と一致する。
• 勾配分散$\sigma^2$の知識を必要としないため、確率的勾配における未知のノイズレベルに対しても頑健である。
• バッチやチェックポイント勾配を一切必要としないため、実用的導入を妨げる大規模で固定サイズのバッチ計算の必要性が排除される。
• ResNet-32を用いたCIFAR-10における実験結果から、StormはAdaGrad や Adam よりも訓練損失と精度の収束が速く、チューニング可能なハイパーパramータはたった1つである。
• アルゴリズムの更新ルールは、標準的なSGD with momentumと構造的に類似しているため、実際にはモーメンタムが暗黙的に分散低減を実行している可能性がある。
• 理論的分析により、Stormの収束は$O(1/√{T} + \sigma^{1/3}/T^{1/3})$に依存することが確認され、最適なレートと一致し、未知のノイズレベルに適応可能である。