[論文レビュー] Convergence of stochastic gradient descent schemes for Lojasiewicz-landscapes

Steffen Dereich, Sebastian Kassing|arXiv (Cornell University)|Feb 16, 2021

Stochastic Gradient Optimization Techniques参考文献 77被引用数 10

ひとこと要約

この論文は、ホルダー連続な勾配と $L^p$-マルティングルのノイズを伴う弱い仮定の下で、Łojasiewicz不等式を満たす目的関数に対して、確率的勾配降下法（SGD）およびモーメンタム付きSGDの概収束を確立する。主な結果は、目的関数が解析的（例：活性化関数が解析的なニューラルネットワーク）であり、入力および出力データがコンパクトにサポートされている場合、SGDは有界性の事象上で概収束することである。

ABSTRACT

In this article, we consider convergence of stochastic gradient descent schemes (SGD), including momentum stochastic gradient descent (MSGD), under weak assumptions on the underlying landscape. More explicitly, we show that on the event that the SGD stays bounded we have convergence of the SGD if there is only a countable number of critical points or if the objective function satisfies Lojasiewicz-inequalities around all critical levels as all analytic functions do. In particular, we show that for neural networks with analytic activation function such as softplus, sigmoid and the hyperbolic tangent, SGD converges on the event of staying bounded, if the random variables modelling the signal and response in the training are compactly supported.

研究の動機と目的

• 目的関数に対する弱い正則性仮定の下で、確率的勾配降下法（SGD）およびモーメンタム付きSGDの概収束を確立すること。
• 標準的なSGDを超える、モーメンタム付きなどのより広いクラスの確率的近似スキームの収束結果を拡張すること。
• 活性化関数が解析的（例：シグモイド、ReLU、ソフトプラス）であるニューラルネットワークにおいて、学習データがコンパクトにサポートされており、反復列が有界である限り、SGDが概収束することを示すこと。
• 深層学習における解析的活性化関数を用いた場合に生じるような、解析的目的関数が局所的に Łojasiewicz 不等式を満たすことを証明すること。
• 解析的関数に限らない、可算個の臨界点を持つ関数などに適用可能な、Łojasiewicz型不等式に基づく一般化された収束フレームワークを提供すること。

提案手法

• 更新規則が $ X_n = X_{n-1} + \theta_n (\Gamma_n + D_n) $ である一般化された確率的近似フレームワークを用いる。ここで $ \Gamma_n $ はドリフト（例：$ -\nabla f(X_{n-1}) $）であり、$ D_n $ は $ L^p $-マルティングルの差分列である。
• 目的関数 $ f $ に対して一般化された Łojasiewicz 条件を課し、臨界点付近での勾配が十分に速く増大することを保証する。
• 局所的な解析性と導関数の一様推定に基づく、新しい証明技法を用いて、解析的関数が局所的に Łojasiewicz 不等式を満たすことを示す。
• アフィン写像との合成（例：ReLU、シグモイド、ソフトプラス）によって得られる関数が解析的であることを用いる。これにより、ネットワーク出力がパラメータに関して解析的であることが導かれる。
• 活性化関数 $ \rho $、損失関数 $ \mathcal{L} $、および入力/出力分布が解析的かつコンパクトにサポートされている場合、期待損失関数 $ f(\Theta) = \mathbb{E}[\mathcal{L}(\mathcal{R}(\Theta,X),Y)] $ が解析的であることを示す。
• Łojasiewicz 不等式を適用して、勾配が 0 に概収束すること、および有界性の下でパラメータ列が収束することを導く。

実験結果

リサーチクエスチョン

• RQ1 目的関数が強く凸でない場合、確率的勾配降下法が概収束するための条件は何か？
• RQ2 モーメンタム付きSGDは、標準的なSGDと同様の収束枠組みで解析可能か？ どのような条件下で収束するか？
• RQ3 活性化関数が解析的であるニューラルネットワークは、Łojasiewicz 不等式を満たすか？ その場合、収束保証が可能か？
• RQ4 期待損失の解析性および収束を保証するためには、データ分布（例：コンパクトサポート）にどのような仮定が必要か？
• RQ5 連続的な臨界点の集合が存在する場合、収束に与える影響は何か？ Łojasiewicz 不等式は依然として収束を保証できるか？

主な発見

• $ C^1 $ 目的関数で、勾配がホルダー連続で、$ L^p $-マルティングルのノイズ（$ p \in (1,2] $）を伴う場合、$ \nabla f(X_n) \to 0 $ が概収束する。
• 臨界点の集合が可算であり、反復列が有界である場合、$ X_n $ は概収束する。
• Łojasiewicz 不等式を満たす目的関数（例：解析的関数）に対しては、SGDは反復列 $ (X_n) $ が有界である事象上で概収束する。
• 活性化関数 $ \rho $、損失関数 $ \mathcal{L} $、および入出力分布が解析的かつコンパクトにサポートされている場合、期待損失関数 $ f(\Theta) = \mathbb{E}[\mathcal{L}(\mathcal{R}(\Theta,X),Y)] $ は解析的である。
• 活性化関数が解析的（例：シグモイド、ソフトプラス、tanh）で、データがコンパクトにサポートされているニューラルネットワークでは、目的関数が局所的に Łojasiewicz 不等式を満たし、収束保証が可能である。
• 従来の研究（例：Tadic, 2015）とは異なり、リャプノフ関数やODE近似に依存せず、解析性と導関数の推定に基づく、収束のための新しい証明フレームワークを提供する。