[論文レビュー] Taming neural networks with TUSLA: Non-convex learning via adaptive stochastic gradient Langevin algorithms

Attila Lovas, Iosif Lytras+2 more|arXiv (Cornell University)|Jun 25, 2020

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、深層ニューラルネットワークにおける非凸学習のための新しい適応的確率的勾配ランジュヴィアン法、TUSLA（Tamed Unadjusted Stochastic Langevin Algorithm）を提案する。taming技法とSGLDを組み合わせることで、勾配が非線形に増大する場合でも安定性と収束性を保証し、高次元かつ非凸な設定下で、経験的リスクおよび母集団リスクの最小化について有限時間の保証を提供する。

ABSTRACT

Artificial neural networks (ANNs) are typically highly nonlinear systems which are finely tuned via the optimization of their associated, non-convex loss functions. In many cases, the gradient of any such loss function has superlinear growth, making the use of the widely-accepted (stochastic) gradient descent methods, which are based on Euler numerical schemes, problematic. We offer a new learning algorithm based on an appropriately constructed variant of the popular stochastic gradient Langevin dynamics (SGLD), which is called tamed unadjusted stochastic Langevin algorithm (TUSLA). We also provide a nonasymptotic analysis of the new algorithm's convergence properties in the context of non-convex learning problems with the use of ANNs. Thus, we provide finite-time guarantees for TUSLA to find approximate minimizers of both empirical and population risks. The roots of the TUSLA algorithm are based on the taming technology for diffusion processes with superlinear coefficients as developed in \citet{tamed-euler, SabanisAoAP} and for MCMC algorithms in \citet{tula}. Numerical experiments are presented which confirm the theoretical findings and illustrate the need for the use of the new algorithm in comparison to vanilla SGLD within the framework of ANNs.

研究の動機と目的

• 標準的な確率的勾配降下法（SGD）およびSGLDが、勾配の超線形増大を示す深層ニューラルネットワークで不安定になる問題に対処すること。
• 非凸的かつ高次元の損失関数の下で、分散性やグローバルリプシッツ連続性の欠如により、古典的なオイラー法が失敗する問題を克服すること。
• 経験的リスクおよび母集団リスクの近似最小化への有限時間収束を保証する安定的かつ適応的なアルゴリズムの開発。
• 元来確率微分方程式（SDE）およびMCMCに用いられるtaming技法を、非凸最適化のための確率的勾配ランジュヴィアンダイナミクスに拡張すること。
• 局所リプシッツ連続性および超線形勾配増大条件の下で、明示的な有限時間バウンドを伴う非漸近的収束解析を提供すること。

提案手法

• 勾配ドリフト項にtamingを適用することで、高次元かつ非凸な設定下での爆発的増大を制御するSGLDの変種、TUSLAを提案する。
• ランジュヴィアンSDEのtamedオイラー離散化を導入し、標準的な勾配の代わりにtamed勾配を用いることで、モーメント安定性と有限時間収束を保証する。
• 高階の正則化と適応的ステップサイズ制御を採用し、勾配が超線形に増大する状況でも安定性を維持し、標準SGLDで見られる発散を回避する。
• Eberleら（2019a）のモーメント推定と収縮論法を用いて、Wasserstein-1およびWasserstein-2距離における非漸近的収束バウンドを導出する。
• 真の勾配 $ \nabla u(\theta) $ と一致する不偏な確率的勾配推定子 $ H(\theta, X_n) $ を用い、$ \mathbb{E}[H(\theta, X_0)] = \nabla u(\theta) $ を満たすことで、一貫性を確保する。
• パラメータ $ \beta $, $ \eta $, $ d $, および $ \lambda $ の影響を収束定数に与える影響を分析し、$ d/\beta $ および $ 1/\eta $ が不安定性を低減することを示す。

実験結果

リサーチクエスチョン

• RQ1 勾配が超線形に増大し、グローバルリプシッツ連続性を満たさない深層ニューラルネットワークにおいて、taming技法がSGLDを安定化させることができるか。
• RQ2 局所リプシッツ連続性および超線形勾配増大の下で、SGLDの変種に対してどのような有限時間収束保証を確立できるか。
• RQ3 次元 $ d $、温度 $ \beta $、正則化 $ \eta $ の間の相互作用が、アルゴリズムの安定性および収束性にどのように影響するか。
• RQ4 理論的複雑性を伴うにもかかわらず、実際の応用においてTUSLAがヴァナイルSGLDを上回る性能を示せるか。
• RQ5 収束バウンドの理論的定数が、$ d $, $ \beta $, $ \eta $ などの問題固有パラメータにどの程度依存するか。

主な発見

• TUSLAは、非凸な設定下で経験的リスクおよび母集団リスクを最小化するにあたり、Wasserstein-1およびWasserstein-2距離において非漸近的かつ有限時間の収束保証を提供する。
• 勾配が超線形に増大する場合でも、安定性とモーメント制御を保証し、このような状況下で標準SGLDが発散する問題を克服する。
• 収束定数 $ z_1 $ および $ z_2 $ は次元 $ d $ に対して指数関数的依存を示すが、主にEberleら（2019a）の収縮推定から生じる $ \hat{c} $ に起因する。しかし、$ \beta $ を増加させることでこの依存性を緩和可能である。
• 定数 $ C'_p $, $ \dot{c} $, および $ \hat{c} $ は $ d/\beta $ および $ 1/\eta $ に依存しており、$ \beta $ を大きくするか、より強い正則化 $ \eta $ を採用することで不安定性を低減できることが示唆される。
• 数値実験により、実際の定数は理論的推定値よりも著しく低いことが確認され、TUSLAが現実のニューラルネットワーク学習において頑健で実用的であることが示される。
• 勾配増大がオイラースキームの標準的仮定を満たさない状況においても、TUSLAはヴァナイルSGLDに比べて優れた安定性を達成する。