[論文レビュー] On Generalization Error Bounds of Noisy Gradient Methods for Non-Convex Learning

Jian Li, Xuanyuan Luo+1 more|arXiv (Cornell University)|Feb 2, 2019

Stochastic Gradient Optimization Techniques参考文献 46被引用数 24

ひとこと要約

本稿は、PAC-Bayesian理論とアルゴリズム的安定性を組み合わせた、非凸学習におけるノイズ付き勾配法のためのよりタイトな、データに依存する一般化誤差バウンドを導出する、新しいBayes-Stabilityフレームワークを提案する。SGLDおよび関連手法に対して改善されたバウンドを確立し、訓練経路に沿った勾配ノルムの二乗和が、実際のラベルとランダムラベルを区別できることを示しており、一般化性能との関連性を裏付けている。

ABSTRACT

Generalization error (also known as the out-of-sample error) measures how well the hypothesis learned from training data generalizes to previously unseen data. Proving tight generalization error bounds is a central question in statistical learning theory. In this paper, we obtain generalization error bounds for learning general non-convex objectives, which has attracted significant attention in recent years. We develop a new framework, termed Bayes-Stability, for proving algorithm-dependent generalization error bounds. The new framework combines ideas from both the PAC-Bayesian theory and the notion of algorithmic stability. Applying the Bayes-Stability method, we obtain new data-dependent generalization bounds for stochastic gradient Langevin dynamics (SGLD) and several other noisy gradient methods (e.g., with momentum, mini-batch and acceleration, Entropy-SGD). Our result recovers (and is typically tighter than) a recent result in Mou et al. (2018) and improves upon the results in Pensia et al. (2018). Our experiments demonstrate that our data-dependent bounds can distinguish randomly labelled data from normal data, which provides an explanation to the intriguing phenomena observed in Zhang et al. (2017a). We also study the setting where the total loss is the sum of a bounded loss and an additional \ell_2 regularization term. We obtain new generalization bounds for the continuous Langevin dynamic in this setting by developing a new Log-Sobolev inequality for the parameter distribution at any time. Our new bounds are more desirable when the noisy level of the process is not small, and do not become vacuous even when T tends to infinity.

研究の動機と目的

• 現代の機械学習における非凸最適化の一般化誤差バウンドをタイトに導出する課題に対処すること。
• 深層ニューラルネットワークのような過パラメータ化モデルにおける一般化を説明するのには不十分な古典的複雑性測度（例：VC次元）の限界を克服すること。
• ノイズ付き勾配法のためのPAC-Bayesian理論とアルゴリズム的安定性を統合する包括的なフレームワークを構築すること。
• データ依存バウンドが、実データとランダムラベルからの学習を区別できることを実証し、実際の一般化現象を説明できることを示すこと。
• 連続的ランゲヴィンダイナミクスにℓ₂正則化を適用した場合の新しい一般化バウンドを導出する。この導出には、新規のLog-Sobolev不等式を用いる。

提案手法

• PAC-Bayesian事前分布とアルゴリズム的安定性を組み合わせたBayes-Stabilityフレームワークを導入し、データ依存一般化誤差バウンドを導出する。
• フレームワークを確率的勾配ランゲヴィンダイナミクス（SGLD）に適用し、訓練経路に沿った勾配ノルムの二乗和に依存するバウンドを導出する。
• 連続的ランゲヴィンダイナミクスにℓ₂正則化を適用した場合の、任意の時刻におけるパラメータ分布に対して、新規のLog-Sobolev不等式を構築する。
• バッチ推定による勾配ノルムの二乗和の不偏推定値を用いて、訓練中にバウンドを効率的に計算する。
• ノイズレベルの要件を緩和するために勾配クリッピングを採用し、実用的な訓練条件下でもよりタイトなバウンドを得られるようにする。
• 実データとランダムラベルデータの両方を用いてMNISTおよびCIFAR10で実験を行い、バウンドと実際の一般化誤差との相関関係を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesianと安定性の両アプローチを統合した新規フレームワークが、非凸的でノイズ付きの勾配法に対してよりタイトな一般化誤差バウンドを導出できるか。
• RQ2 勾配ノルムの二乗和のようなデータ依存量が、一般化性能をどの程度まで予測できるか。
• RQ3 導出されたバウンドが、Zhangら（2017a）が観察したように、実データとランダムラベルからの学習を区別できるか。
• RQ4 連続的ランゲヴィンダイナミクスにℓ₂正則化を適用した場合、特に時間Tが増加するにつれて一般化バウンドはどのように振る舞うか。
• RQ5 ノイズレベルが小さくない場合やT → ∞の場合でも、理論的バウンドが非自明（non-vacuous）かつ意味のあるものとなるか。

主な発見

• 提案されたBayes-Stabilityフレームワークは、Mouら（2018）およびPensiaら（2018）の先行研究よりもタイトな一般化誤差バウンドを導出する。
• 勾配ノルムの二乗和に基づくデータ依存バウンドが、実際のMNIST/CIFAR10データとランダムラベルデータを効果的に区別でき、一般化性能との関連性を裏付けている。
• 実験では、学習精度が90％に達してもバウンドが小さく保たれることが示され、初期学習段階を超えた一般化行動を捉えていることが示された。
• T → ∞ であってもバウンドが非自明であり、新規のLog-Sobolev不等式のおかげで、ノイズレベルが中程度のとき、先行研究のバウンドよりもより有利に働く。
• 勾配クリッピングにより理論的ノイズ条件が緩和され、バウンドが依然として実データとランダムラベルを効果的に分離できることを確認し、ロバスト性を裏付けた。
• 100ステップの移動平均を用いた勾配ノルムの推定値が、バウンドの推移と良好に相関しており、その安定性と実用的有用性を検証した。