[論文レビュー] The Role of Memory in Stochastic Optimization

Antonio Orvieto, Jonas Köhler+1 more|arXiv (Cornell University)|Jul 2, 2019

Stochastic Gradient Optimization Techniques参考文献 29被引用数 6

ひとこと要約

本稿では、変動忘却率を伴う可変的忘却レートを通じて、Heavy Ball法やネステロフの方法を一般化する、記憶をモデル化する連続時間確率微分方程式（SDE）フレームワークを提案する。記憶タイプが収束性および安定性に顕著に影響することを示し、反復平均を必要とせずに、確率的設定において長期記憶が性能を向上させることを明らかにした。また、ネステロフのモーメンタムを安定な勾配増幅の新たな解釈として提示した。

ABSTRACT

The choice of how to retain information about past gradients dramatically affects the convergence properties of state-of-the-art stochastic optimization methods, such as Heavy-ball, Nesterov's momentum, RMSprop and Adam. Building on this observation, we use stochastic differential equations (SDEs) to explicitly study the role of memory in gradient-based algorithms. We first derive a general continuous-time model that can incorporate arbitrary types of memory, for both deterministic and stochastic settings. We provide convergence guarantees for this SDE for weakly-quasi-convex and quadratically growing functions. We then demonstrate how to discretize this SDE to get a flexible discrete-time algorithm that can implement a board spectrum of memories ranging from short- to long-term. Not only does this algorithm increase the degrees of freedom in algorithmic choice for practitioners but it also comes with better stability properties than classical momentum in the convex stochastic setting. In particular, no iterate averaging is needed for convergence. Interestingly, our analysis also provides a novel interpretation of Nesterov's momentum as stable gradient amplification and highlights a possible reason for its unstable behavior in the (convex) stochastic setting. Furthermore, we discuss the use of long term memory for second-moment estimation in adaptive methods, such as Adam and RMSprop. Finally, we provide an extensive experimental study of the effect of different types of memory in both convex and nonconvex settings.

研究の動機と目的

• Adam、RMSprop、ネステロフのモーメンタムのような確率的最適化手法における記憶の役割を理解すること。
• 決定的設定では成功しているものの、確率的設定では失敗するモーメンタム手法の背後にある理論的理解の欠如に取り組むこと。
• カスタマイズ可能な記憶忘却ダイナミクスを通じて、既存のモーメンタム手法を統一的に一般化する連続時間モデルを構築すること。
• 弱い擬似凸関数および2次的に成長する関数の下で、提案されたSDEに対する収束保証を提供すること。
• 凸および非凸問題における最適化性能への異なる記憶タイプの影響を実験的に検証すること。

提案手法

• 任意の記憶忘却メカニズムを重み付き平均による過去勾配の統合を通じて組み込む一般連続時間SDEモデルを導出する。
• 決定的状態におけるHeavy Ball法を連続時間ODEに拡張し、SDEを用いて確率的設定に一般化する。
• パラメータpでパrameter化された記憶忘却関数の族を導入し、線形（p=2）、立方（p=4）、多項式（p=100）、指数（p=e）、即時（p=∞）のタイプを含む。
• SDEを柔軟な離散時間アルゴリズムMemSGDに離散化し、広範な記憶タイプをサポートする。
• モーメンタム手法の安定性を勾配増幅と関連付けることで分析し、ネステロフのモーメンタムの新たな解釈を提供する。
• 長期記憶を用いた2次モーメント推定を導入し、Adam や RMSprop などの適応的手法の性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 記憶メカニズム、特に忘却率の選択が、確率的最適化における収束性と安定性にどのように影響するか？
• RQ2 決定的設定では成功しているにもかかわらず、なぜネステロフ勾配降下のようなモーメンタム手法が確率的設定では失敗するのか？
• RQ3 短期的から長期的忘却までをカバーする多様な記憶タイプを、統一的な連続時間フレームワークでモデル化可能か？
• RQ4 反復平均を必要とせずに、長期記憶が確率的設定における収束性と安定性を向上させるか？
• RQ5 記憶が、Adam や RMSprop などの適応的手法における2次モーメント推定にどのように影響するか？

主な発見

• 提案されたSDEフレームワークは、適切な記憶ダイナミクスのもとで、弱い擬似凸関数および2次的に成長する関数に対して収束保証を提供する。
• 長期記憶を備えた離散的MemSGDアルゴリズムは、凸な確率的設定において、古典的Heavy Ball法よりも優れた安定性を示し、反復平均の必要性を排除した。
• ネステロフのモーメンタムは、安定な勾配増幅として解釈され、ノイズの多い勾配の過剰増幅が原因で確率的設定で不安定になることを説明した。
• MNIST、Fashion-MNIST、CIFAR-10、covtypeにおける実験では、多項式忘却（p=4）および指数忘却（p=e）が、ミニバッチおよびフルバッチ設定の両方でSGDおよびHBを上回った。
• p=4（立方忘却）の手法は、Fashion-MNISTおよびCIFAR-10で最高のテスト精度を達成し、ベースライン手法よりも訓練損失が速やかに減少した。
• オートエンコーダからのMNIST画像再構成では、p=4およびp=eを用いたMemSGDが、SGDやHBよりも明瞭で正確な再構成を生成し、最適化品質の向上を裏付けた。