[論文レビュー] Computing Nonvacuous Generalization Bounds for Deep (Stochastic) Neural Networks with Many More Parameters than Training Data

Gintare Karolina Dziugaite, Daniel M. Roy|arXiv (Cornell University)|Mar 31, 2017

Stochastic Gradient Optimization Techniques参考文献 22被引用数 250

ひとこと要約

この論文は PAC-Bayes 境界を最適化して、数百万のパラメータを持つ深い確率的ニューラルネットワークの非自明な一般化界を、数万の例で訓練された場合にも計算可能にし、過剰パラメータ化の領域で非自明な一般化を示している。

ABSTRACT

One of the defining properties of deep learning is that models are chosen to have many more parameters than available training data. In light of this capacity for overfitting, it is remarkable that simple algorithms like SGD reliably return solutions with low test error. One roadblock to explaining these phenomena in terms of implicit regularization, structural properties of the solution, and/or easiness of the data is that many learning bounds are quantitatively vacuous when applied to networks learned by SGD in this "deep learning" regime. Logically, in order to explain generalization, we need nonvacuous bounds. We return to an idea by Langford and Caruana (2001), who used PAC-Bayes bounds to compute nonvacuous numerical bounds on generalization error for stochastic two-layer two-hidden-unit neural networks via a sensitivity analysis. By optimizing the PAC-Bayes bound directly, we are able to extend their approach and obtain nonvacuous generalization bounds for deep stochastic neural network classifiers with millions of parameters trained on only tens of thousands of examples. We connect our findings to recent and old work on flat minima and MDL-based explanations of generalization.

研究の動機と目的

• 深いネットワークを SGD で訓練する際の heavily overparameterized regime で非自明な一般化界の動機づけと定量化。
• Langford と Caruana の PAC-Bayes アプローチを、数百万のパラメータを持つ現代の深層アーキテクチャへ拡張する。
• SGD 解の周囲に広い領域が似たように良いモデルを含むことを示し、非自明な境界を可能にする。
• 平坦な極小値の考え方およびMDLに基づく一般化説明と境界を結ぶ。

提案手法

• 確率的ニューラルネットワークに対する PAC-Bayes 境界を定式化し、平均 w、対角共分散 s を持つ重みのガウス分布として境界を表現する。
• 勾配ベースの手法で境界を最適化し、経験的代理損失と境界依存の正則化項を最小化する分布 Q = N(w, diag(s)) を見つける。
• 分離離散化された分散スケール lambda 上の union-bound 的な事前分布を用いて、実用的な境界とその最適化を可能にする。
• SGD 解のランダム摂動下で代理経験損失の無偏勾配推定を用いる。
• モンテカルロ近似を用いて乱択分類器の経験誤差を推定し、推定誤差を制御するサンプル収束境界を導入して境界を計算する。
• 検証したアーキテクチャに対して高い確率（約 0.965）で成り立つ境界を報告する。

実験結果

リサーチクエスチョン

• RQ1 訓練データが比較的少ない場合に、数百万のパラメータを持つ深い確率的ネットワークで非自明な一般化境界を得ることができるか？
• RQ2 SGD 解の周りで PAC-Bayes 境界を最適化することで、同様に良い性能を持つ重み構成の大きな領域（解の周りの平坦性）を明らかにするか？
• RQ3 強く過parameterized な領域において、データ依存の PAC-Bayes 境界はデータ非依存の VC 境界とどのように比較されるか？
• RQ4 真ラベルとランダムラベルの訓練シナリオの違いを境界は反映するか？

主な発見

• tens of thousands of examples を訓練データとして用いた数百万パラメータ規模の深層ネットワークに対して、非自明な数値的一般化境界が達成可能である。
• 最適化された PAC-Bayes 境界は、いくつかのアーキテクチャでバイナリ MNIST 変種に対して、モデル容量が大きいにもかかわらず、テスト誤差の範囲をおよそ 16–22% に導く。
• 真ラベル訓練の場合、SNN 境界は非自明なままで、より大きなネットワークに拡大しても大きく増加せず、単なるパラメータ数の観点を超えた非自明な一般化を示す。
• ランダムラベルで訓練した場合、PAC-Bayes 境界は自明化し、このアプローチの非一般化設定における限界を示す。
• 実証結果は、SGD 解が低誤差の重み構成の広い領域の中心付近にあることを示し、SGD 解の周りの平坦領域が一般化に寄与するという仮説を裏付ける。
• KC境界（VC次元）はデータ非依存分析にはなお厳しく緩いため、PAC-Bayes のようなデータ依存的アプローチの必要性を強調する。