[論文レビュー] On the convergence of the Stochastic Heavy Ball Method.

Othmane Sebbouh, Robert M. Gower+1 more|arXiv (Cornell University)|Jun 14, 2020

Stochastic Gradient Optimization Techniques参考文献 36被引用数 17

ひとこと要約

本稿では、滑らかさと凸性の仮定のみで、確率的ヘヴィボール（SHB）手法のほとんど確実な収束を確立し、過パrameter化および決定的設定の両方でSGDよりも関数値の収束が速いことを証明する。反復に依存するステップサイズおよびモーメンタムパラメータを導入することで、最終反復の平均化の必要性を排除し、有界勾配の仮定なしに優れた収束レートを達成する。

ABSTRACT

We provide a comprehensive analysis of the Stochastic Heavy Ball (SHB) method (otherwise known as the momentum method), including a convergence of the last iterate of SHB, establishing a faster rate of convergence than existing bounds on the last iterate of Stochastic Gradient Descent (SGD) in the convex setting. Our analysis shows that unlike SGD, no final iterate averaging is necessary with the SHB method. We detail new iteration dependent step sizes (learning rates) and momentum parameters for the SHB that result in this fast convergence. Moreover, assuming only smoothness and convexity, we prove that the iterates of SHB converge extit{almost surely} to a minimizer, and that the convergence of the function values of (S)HB is asymptotically faster than that of (S)GD in the overparametrized and in the deterministic settings. Our analysis is general, in that it includes all forms of mini-batching and non-uniform samplings as a special case, using an arbitrary sampling framework. Furthermore, our analysis does not rely on the bounded gradient assumptions. Instead, it only relies on smoothness, which is an assumption that can be more readily verified. Finally, we present extensive numerical experiments that show that our theoretically motivated parameter settings give a statistically significant faster convergence across a diverse collection of datasets.

研究の動機と目的

• 滑らかさと凸性の最小限の仮定の下で、確率的ヘヴィボール（SHB）手法のほとんど確実な収束を確立すること。
• 過パrameter化および決定的設定の両方で、SGDよりもSHBが関数値の収束が速いかを示すこと。
• SGDとは異なり、最終反復の平均化を必要としないSHBの収束を実現するため、反復に依存するステップサイズおよびモーメンタムパラメータを導出すること。
• 任意のサンプリング、ミニバッチ、非一様サンプリングを扱える一般化された分析フレームワークを構築し、有界勾配の仮定を必要としないこと。
• 理論的に導出されたパラメータ設定を、多様なデータセットを用いた広範な数値実験で検証すること。

提案手法

• 任意のサンプリングフレームワークを採用し、ミニバッチや非一様サンプリングを特別なケースとして一般化する。
• 収束の加速とほとんど確実な収束の保証を目的に、反復に依存する学習率およびモーメンタムパラメータを導入する。
• 一般的に用いられるが制限的な有界勾配条件を避けるために、滑らかさ仮定にのみ依存する。
• 反復の挙動と関数値の時間的変化を追跡する新しいリャプノフ関数の分析を用いて収束を証明する。
• 決定的および確率的設定、特に過パrameter化モデルにも適用可能なフレームワークを構築する。
• 多様なデータセットを用いた数値実験により、理論的改善が収束速度の向上として実証的に裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 滑らかさと凸性の仮定のみで、有界勾配の仮定なしに、確率的ヘヴィボール手法が最小値にほとんど確実に収束するか。
• RQ2 過パrameter化および決定的設定の両方で、SHB手法がSGDよりも関数値の収束が速いか。
• RQ3 SHBでは最終反復の平均化が必要か、それとも適切なパrameterチューニングにより平均化なしに速やかに収束できるか。
• RQ4 反復に依存するステップサイズおよびモーメンタムパラメータを設計することで、より速い収束を達成し、平均化の必要性を排除できるか。
• RQ5 理論的に導出されたパラメータ設定が、多様なデータセットにおいて収束速度の統計的に有意な向上をもたらすか。

主な発見

• 滑らかさと凸性の仮定のみで、確率的ヘヴィボール手法の反復が最小値にほとんど確実に収束する。有界勾配の仮定は不要。
• 過パrameter化および決定的設定の両方で、SHBの関数値の収束レートはSGDよりも漸近的に速い。
• 提案された反復に依存するステップサイズおよびモーメンタムパラメータにより、SHBは最終反復の平均化なしにより速い収束を達成できる。
• 分析は任意のサンプリング（ミニバッチや非一様サンプリングを含む）に一般化可能であり、一般性を失わない。
• 広範な数値実験により、理論的に導出されたパラメータ設定が多様なデータセットにおいて収束速度の統計的に有意な向上をもたらすことが確認された。
• この手法の性能優位性は、異なるデータ分布やモデルアーキテクチャに対しても安定しており、理論的主張が実証的に裏付けられている。