[論文レビュー] Non-convex learning via Stochastic Gradient Langevin Dynamics: a nonasymptotic analysis

Maxim Raginsky, Alexander Rakhlin+1 more|arXiv (Cornell University)|Feb 13, 2017

Markov Chains and Monte Carlo Methods参考文献 18被引用数 152

ひとこと要約

この論文は非凸学習におけるStochastic Gradient Langevin Dynamics (SGLD) に対する有限時間、非漸近保証を提供し、離散更新をLangevin拡散と結びつけ、Wassersteinに基づく解析を用いて excess risk と generalization を上界する。

ABSTRACT

Stochastic Gradient Langevin Dynamics (SGLD) is a popular variant of Stochastic Gradient Descent, where properly scaled isotropic Gaussian noise is added to an unbiased estimate of the gradient at each iteration. This modest change allows SGLD to escape local minima and suffices to guarantee asymptotic convergence to global minimizers for sufficiently regular non-convex objectives (Gelfand and Mitter, 1991). The present work provides a nonasymptotic analysis in the context of non-convex learning problems, giving finite-time guarantees for SGLD to find approximate minimizers of both empirical and population risks. As in the asymptotic setting, our analysis relates the discrete-time SGLD Markov chain to a continuous-time diffusion process. A new tool that drives the results is the use of weighted transportation cost inequalities to quantify the rate of convergence of SGLD to a stationary distribution in the Euclidean $2$-Wasserstein distance.

研究の動機と目的

• 局所最小を回避するノイズを用いた非凸最適化問題を動機づけ、SGLDを実用アルゴリズムとして研究する。
• 離散的なSGLD更新を連続的なLangevin拡散と結びつけ、非漸近解析を可能にする。
• 経験的リスクと母集団リスクの両方に対して有限時間の超過リスク境界を提供する。
• 超過リスクを一般化誤差と経験的最小値ギャップに分解し、それぞれの成分の上界を求める。

提案手法

• g_k は確率的勾配推定量である、W_{k+1} = W_k - eta g_k + sqrt(2 eta / beta) xi_k.
• 更新を Langevin 拡散 dW(t) = -grad F_Z(W(t)) dt + sqrt(2/beta) dB(t) の離散化としてモデル化する。
• 重み付き輸送コスト不等式を用いて SGLD の反復と拡散との 2-Wasserstein 距離を境界化する。
• Gibbs分布に対する対数Sobolev不等式を確立し Wasserstein 距離で指数収束を得る。
• データ単位の摂動下で Gibbs 分布の安定性を証明し、 一様安定性の議論を通じて一般化を制御する。
• 非漸近的なラプラス近似を用いて Gibbs 抽出が経験的最小化に近い解であることを示す。

実験結果

リサーチクエスチョン

• RQ1 SGLDは非凸目的関数に対して非漸近的収束保証を達成できるか？
• RQ2 時間とともにSGLDの反復分布は 2-Wasserstein 距離で Gibbs 分布にどれだけ近づくか？
• RQ3 SGLDで経験的リスクと母集団リスクを最適化した場合の有限時間境界は何か？
• RQ4 この非凸設定における Gibbs 分布の安定性は一般化とどう関連するか？

主な発見

• 期待される超過リスクの上界は、特定のスケーリングを持つ三つの項に分解される。第一項は epsilon * Poly(beta, d, 1/lambda_*) に比例し、k >= Poly(beta, d, 1/lambda_*) * 1/epsilon^4 かつ eta <= (epsilon / log(1/epsilon))^4 のときに存在する。
• 第二項および第三項はそれぞれ (beta + d)^2 / (lambda_* n) および d log(beta+1) / beta に比例する。
• この解析は離散的な SGLD を Langevin 拡散に結びつけ、十分大きな beta に対して Gibbs 分布が経験的最小化子の周りに集中することを示す。
• データ単一座標の摂動下で Gibbs アルゴリズムの一様安定性境界を確立し、一般化を制御する。
• 主結果（Theorem 2.1）は、滑らかさ、散逸性、勾配オラクルの精度を含む仮定の下で、有限時間の非漸近的超過リスク界を提供する。