[論文レビュー] Stochastic Gradient and Langevin Processes

Xiang Cheng, Dong Yin+2 more|arXiv (Cornell University)|Jul 7, 2019

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

本稿は、非ガウス的かつ状態依存のノイズを伴う離散的ランジュバン過程の定量的収束速度を確立し、小さなステップサイズを用いた確率的勾配降下法（SGD）が、極限的なSDEを近似することを示している。非凸型ポテンシャルの下で、ノイズが非ガウス的であっても、ポテンシャルおよびノイズ共分散に関する弱い正則性条件のもとで、Euler-Murayama離散化とSGDの両方が、SDEの不変分布へ Wasserstein-1 距離で $ O(\delta^{1/8}) $ のレートで収束することを証明している。

ABSTRACT

We prove quantitative convergence rates at which discrete Langevin-like processes converge to the invariant distribution of a related stochastic differential equation. We study the setup where the additive noise can be non-Gaussian and state-dependent and the potential function can be non-convex. We show that the key properties of these processes depend on the potential function and the second moment of the additive noise. We apply our theoretical findings to studying the convergence of Stochastic Gradient Descent (SGD) for non-convex problems and corroborate them with experiments using SGD to train deep neural networks on the CIFAR-10 dataset.

研究の動機と目的

• 非凸最適化におけるSGDの有限時間収束を、サンプリングアルゴリズムとして理解すること。特に、一般化性能への影響を明らかにすること。
• SGDに一般的に見られる非ガウス的かつ状態依存のノイズを伴う設定に、先行するランジュバンMCMCの解析を拡張すること。
• 離散過程とその連続時間SDE極限との間の離散化誤差に対する厳密なバインディングを確立すること。
• ノイズが非ガウス的であっても、極限SDEの不変分布がSGDの挙動を支配することを示すこと。
• CIFAR-10における深層ニューラルネットワークへのSGDを用いて、理論的結果を実証的に検証すること。

提案手法

• 状態依存的かつ非ガウス的ノイズを伴う一般化された離散的ランジュバン型過程を提案：$ w_{(k+1)\delta} = w_{k\delta} - \delta \nabla U(w_{k\delta}) + \sqrt{\delta} \xi(w_{k\delta}, \eta_k) $。
• 極限SDEを $ dx_t = -\nabla U(x_t) dt + M(x_t) dB_t $ と定義し、$ M(x) $ をノイズ共分散行列の平方根とする。
• 不変分布 $ p^* $ への収束を証明するために、新しいリャプノフ関数とカップリング技術を用いる。
• 離散過程 (1)、Euler-Murayama近似 (2)、連続SDE (3) の間の離散化誤差を、Wasserstein-1 距離でバインディングする。
• 非ガウス的ノイズを同じ共分散を持つガウス的ノイズに近似する根拠として、定量的中心極限定理（定理5）を適用する。
• CIFAR-10におけるResNet型CNNの学習を、異なるノイズ分布を用いて行い、実験的に理論を検証。テスト誤差がノイズ共分散に強く相関していることを示した。

実験結果

リサーチクエスチョン

• RQ1 ステップサイズ $ \delta $ に伴う、離散的ランジュバン過程とその連続SDE極限との間の離散化誤差は、非ガウス的かつ状態依存のノイズのもとでどのようにスケーリングされるか？
• RQ2 非ガウス的かつ状態依存のノイズを伴うSGDは、極限SDEと厳密に結びつけられるか？また、不変分布への収束速度はどの程度となるか？
• RQ3 ノイズが非ガウス的であっても、極限SDEの不変分布はノイズ共分散にのみ依存するのか？
• RQ4 深層学習モデルにおけるSGDに対して、理論的収束速度 $ O(\delta^{1/8}) $ が実際の実験で観察されるか？
• RQ5 ノイズ共分散行列は、SGDで学習されたモデルの一般化性能（テスト誤差）を予測するのにどの程度有効か？

主な発見

• Euler-Murayama近似 (2) と連続SDE (3) の間の離散化誤差は、Wasserstein-1 距離で $ O(\sqrt{\delta}) $ である。
• Euler-Murayamaプロセス (2) が不変分布 $ p^* $ へ収束するレートは、$ n \geq \tilde{O}(1/\delta) $ の条件下で $ O(\sqrt{\delta}) $ である。
• 実際のSGDに類似したプロセス (1) とSDE (3) の間の離散化誤差は $ O(\delta^{1/8}) $ であり、$ p^* $ への収束レートも同様に $ O(\delta^{1/8}) $ である。
• ノイズ共分散が適切に振る舞う限り、非ガウス的ノイズであっても収束レート $ O(\delta^{1/8}) $ は安定である。
• CIFAR-10における実験結果から、テスト誤差がノイズ共分散行列によって強く予測されることを示した。ノイズ分布が変化しても同様の傾向が観察された。
• 理論的枠組みにより、SGDが勾配だけでなくポテンシャルとノイズ共分散に依存する分布へ収束するサンプリングアルゴリズムとして正当化された。