[論文レビュー] Deterministic PAC-Bayesian generalization bounds for deep networks via generalizing noise-resilience

Vaishnavh Nagarajan, J. Zico Kolter|arXiv (Cornell University)|May 30, 2019

Advanced Neural Network Applications被引用数 45

ひとこと要約

この論文は、深層ネットワークのノイズ耐性を活用して、元の決定論的・未圧縮ネットワークに対する汎化境界を導出する一般的なPAC-Bayesianフレームワークを導入し、深いReLUネットへ適用し、スペクトルノルム積の深さによる爆発を回避する。

ABSTRACT

The ability of overparameterized deep networks to generalize well has been linked to the fact that stochastic gradient descent (SGD) finds solutions that lie in flat, wide minima in the training loss -- minima where the output of the network is resilient to small random noise added to its parameters. So far this observation has been used to provide generalization guarantees only for neural networks whose parameters are either \textit{stochastic} or \textit{compressed}. In this work, we present a general PAC-Bayesian framework that leverages this observation to provide a bound on the original network learned -- a network that is deterministic and uncompressed. What enables us to do this is a key novelty in our approach: our framework allows us to show that if on training data, the interactions between the weight matrices satisfy certain conditions that imply a wide training loss minimum, these conditions themselves {\em generalize} to the interactions between the matrices on test data, thereby implying a wide test loss minimum. We then apply our general framework in a setup where we assume that the pre-activation values of the network are not too small (although we assume this only on the training data). In this setup, we provide a generalization guarantee for the original (deterministic, uncompressed) network, that does not scale with product of the spectral norms of the weight matrices -- a guarantee that would not have been possible with prior approaches.

研究の動機と目的

• 過剰にパラメータ化された深層ネットワークがなぜ良く汎化するのか、そして SGD がどのように広く、ノイズ耐性のある局所極小を見つけるのかを理解する。
• 訓練時のノイズ耐性を用いて、決定論的で未圧縮のネットワークの汎化境界を導くPAC-Bayesianフレームワークを開発する。
• このフレームワークを深い ReLU ネットワークに特化し、スペクトルノルムの積に対する深さの指数的依存を回避する。
• トレードオフを定量化し、境界のボトルネック（特にプレアクティベーションの大きさ）を特定する。
• PAC-Bayesian設定において、訓練時の性質がテストデータへどのように拡張されるかについて洞察を提供する。

提案手法

• 特定の入力に対するノイズ耐性を捕捉する重みの入力依存特性を導入する。
• 訓練データ上で成立する必要がある一連の条件 (ρ_r,l) とマージン ∆⋆_{r,l} を定義する。
• 以前の条件を満たす入力に対して、ガウス重みノイズ下の摂動が制御されるよう、if-then制約（Equation 2）を課す。
• 確率的ネットワークに対するPAC-Bayes境界を決定論的ネットワークの境界に変換する方法を示す（Theorem C.1）。
• 深い ReLUネットワークに特化し、スペクトルノルムの積には依存しないマージンに基づく汎化境界を導出する（Theorem 4.1）。
• プレアクティベーションの大きさを境界に反比例して影響するボトルネック項（Bpreact）として特定し、実務的な緩和法（例：データの小部分やユニットを無視するなど）について議論する。

実験結果

リサーチクエスチョン

• RQ1 訓練時ノイズ耐性の性質は深層ネットワークにおいて訓練データからテストデータへ一般化するか。
• RQ2 確率的/圧縮版ではなく、元の決定論的ネットワークに適用されるPAC-Bayesian境界を導出できるか。
• RQ3 得られる境界は従来のスペクトルノームの積の指数的深さ依存を避けられるか。
• RQ4 実践的な境界の tightness を支配する主な要因（例：プレアクティベーションの大きさ）は何か。
• RQ5 標準データセット（例：MNIST）でネットワークの深さ・幅とともに理論的境界が経験的にどう振る舞うか。

主な発見

• 訓練時のノイズ耐性を活用して、決定論的・未圧縮ネットワークのテスト損失を境界付ける一般的なPAC-Bayesianフレームワークが成り立つ。
• For ReLU networks, the bound does not scale with the product of spectral norms and instead depends on interactions between weight matrices and training-time properties.
• The bound scales with depth but at a milder rate (approximately 1.57^D) compared to prior bounds (approximately 2.15^D).
• The main bottleneck is the reciprocal of the smallest training pre-activation magnitude (Bpreact); this can be large if many pre-activations are small, but mitigations (e.g., ignoring outliers) can substantially reduce it.
• Empirical discussion indicates most terms are small (on the order of 10^2) while Bpreact can dominate, highlighting a concrete area for improvement in practice.
• The framework provides a path to non-vacuous guarantees for large networks by focusing on input-dependent properties rather than worst-case spectral-norm products.