[論文レビュー] Generalization Bounds of SGLD for Non-convex Learning: Two Theoretical Viewpoints

Wenlong Mou, Liwei Wang+2 more|arXiv (Cornell University)|Jul 19, 2017

Stochastic Gradient Optimization Techniques参考文献 23被引用数 55

ひとこと要約

本論文は、安定性とPAC-Bayesianアプローチを用いて、非凸学習におけるSGLDに対する2つのアルゴリズム依存の一般化境界を導出する。境界はモデル次元に明示的に依存せず、集約されたステップサイズに依存する。

ABSTRACT

Algorithm-dependent generalization error bounds are central to statistical learning theory. A learning algorithm may use a large hypothesis space, but the limited number of iterations controls its model capacity and generalization error. The impacts of stochastic gradient methods on generalization error for non-convex learning problems not only have important theoretical consequences, but are also critical to generalization errors of deep learning. In this paper, we study the generalization errors of Stochastic Gradient Langevin Dynamics (SGLD) with non-convex objectives. Two theories are proposed with non-asymptotic discrete-time analysis, using Stability and PAC-Bayesian results respectively. The stability-based theory obtains a bound of $O\left(\frac{1}{n}L\sqrt{βT_k} ight)$, where $L$ is uniform Lipschitz parameter, $β$ is inverse temperature, and $T_k$ is aggregated step sizes. For PAC-Bayesian theory, though the bound has a slower $O(1/\sqrt{n})$ rate, the contribution of each step is shown with an exponentially decaying factor by imposing $\ell^2$ regularization, and the uniform Lipschitz constant is also replaced by actual norms of gradients along trajectory. Our bounds have no implicit dependence on dimensions, norms or other capacity measures of parameter, which elegantly characterizes the phenomenon of "Fast Training Guarantees Generalization" in non-convex settings. This is the first algorithm-dependent result with reasonable dependence on aggregated step sizes for non-convex learning, and has important implications to statistical learning aspects of stochastic gradient methods in complicated models such as deep learning.

研究の動機と目的

• 確率的勾配 Langevin ダイナミクス（SGLD）が非凸学習における一般化にどのように影響するかを理解する。
• 安定性とPAC-Bayesという2つの理論的枠組みを用いて、非漸近的かつアルゴリズム依存の境界を提供する。
• 境界は次元非依存になり得、パラメータのノルムではなく集約されたステップサイズに依存することを示す。
• 非凸性と確率性が顕著な深層学習のトレーニングへの理論的示唆を実践的に結びつける。

提案手法

• 学習目的を正則化経験リスク F_n(w) = (1/n) sum_i f_i(w) + R(w) としてモデル化する。
• SGLD更新 w_{k+1} = w_k - eta_k g_hat_k(w) + sqrt(2 eta_k / beta) N(0, I_d) を解析する。
• 2つの解析フレームワークを用いる：一様安定性（O(1/n)の高速収束率へ）とPAC-Bayesian理論（軌道適応項とともにO(1/√n)の収束率へ）。
• 離散時間SGLDを連続時間Langevin方程式とそのFokker-Planck記述に関連づけ、Hellinger距離とKL発散を介して分布の変化を境界付ける。
• 得られる境界がパラメータ次元に依存せず、軌道に沿った集約ステップサイズと勾配ノルムに依存することを強調する。

実験結果

リサーチクエスチョン

• RQ1 非凸学習設定においてSGLDは一般化誤差にどのような影響を与えるか？
• RQ2 安定性とPAC-Bayesian手法を用いて、SGLDの非漸近的かつアルゴリズム依存の一般化境界を得られるか？
• RQ3 境界はモデル次元やパラメータノルムではなく集約されたステップサイズに依存するか、軌道に沿った勾配ノルムはそれらにどのように影響するか？
• RQ4 非凸確率的最適化における安定性ベースとPAC-Bayesian境界のトレードオフは何か？

主な発見

• 安定性に基づく境界はO(1/n)の速度で、L、β、そして集積されたステップサイズの平方根に比例する。
• PAC-Bayesian境界はO(1/√n)の速度で、反復を跨ぐ指数関数的減衰因子と軌道に沿った勾配ノルムへの依存を伴う。
• 連続時間Langevin解析は理想化ケースでO(L C sqrt(beta T)/(sqrt{2} n))境界を提供し、集約時間Tの役割を強調する。
• 離散時間SGLDの安定性解析は、ランダムデータサンプリングとともに、隣接データセット間の二乗Hellinger距離を制御できることを示し、有利な一般化境界につながる。
• 境界はパラメータ空間の次元やパラメータのノルムに明示的に依存しない。非凸設定における“高速トレーニングが一般化を保証する”という直感を支持する。