[論文レビュー] A PAC-Bayesian Approach to Spectrally-Normalized Margin Bounds for Neural Networks

Behnam Neyshabur, Srinadh Bhojanapalli+1 more|arXiv (Cornell University)|Jul 29, 2017

Neural Networks and Applications被引用数 107

ひとこと要約

この論文は、PAC-Bayesフレームワークを用いてフィードフォワードReLUネットワークのマージンに基づく一般化境界を導出し、境界が層のスペクトルノルムの積と各層のフロベニウスノルムの積に依存することを、ネットワーク出力の摂動ベースの解析を通じて示す。

ABSTRACT

We present a generalization bound for feedforward neural networks in terms of the product of the spectral norm of the layers and the Frobenius norm of the weights. The generalization bound is derived using a PAC-Bayes analysis.

研究の動機と目的

• パラメータ数ではなくノルムに依存する過参数化ニューラルネットワークの一般化境界を動機づける。
• フィードフォワードReLUネットワークのマージンベースPAC-Bayes境界を開発する。
• 新しい境界を既存のスペクトル正規化マージン境界と関連づけ、VCベースの境界に対する優勢領域を論じる。
• 摂動（シャープネス）解析による直観を提供し、既存のノルムベース境界と比較する。

提案手法

• マージン損失 L_gamma および経験的マージン損失 hat{L}_gamma を定義する。
• 事前分布 P と摂動 u を用いたランダム化予測子 f_{w+u} に対するPAC-Bayes境界を用いる。
• 重み摂動に対する出力変化を層のスペクトルノルムで表現して境界付ける摂動境界（補題2）を証明する。
• 総知識境界（定理1）を導出し、L_0 <= hat{L}_gamma + 局所複雑さ項（スペクトルノルムの積と各層のフロベニウスノルムの和の和に関係する）を示す。
• 重みを正規化して層ごとのスペクトルノルムを等しくし、適切に調整された分散を持つガウス prior を適用して KL項を界定する。
• Bartlett らの境界と比較し、新境界がVC境界を上回る領域を議論する。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesを用いて深層ReLUネットワークのマージンベース一般化境界を導出するにはどうすればよいか？
• RQ2 層ごとのスペクトルノルムとフロベニウスノルムは、得られる一般化境界にどのように影響するか？
• RQ3 提案された境界がVC次元や他のノルムベース境界を上回るのはどのような領域か？
• RQ4 摂動（シャープネス）の観点は、過parameterizedネットワークの一般化とどのように関連するか？

主な発見

• 層のスペクトルノルムの積と各層のフロベニウス-to-スペクトルノルム比の和に比例してスケールするマージンベースの一般化境界を得る。
• 摂動境界は重み摂動による出力変化をスペクトルノルムで定量化し、シャープネスと一般化を結びつける。
• 定理1は、境界を経験的マージン損失に加え、B^2 d^2 h log(dh)とスペクトルノルムの積、およびフロベニウスノルムの和の項が成長する複雑さ項として表現する。
• この境界は、Bartlett et al. (2017a)の境界と比較して、重みの疎性とノルム構造に依存して異なる優勢領域を提供する。
• 著者は、偏りが緩やかな固有値濃度または構造化されたスパース性を有効条件として、自らの境界がVCベースの境界を上回る場合について論じる。