[论文解读] A PAC-Bayesian Approach to Spectrally-Normalized Margin Bounds for Neural Networks

Behnam Neyshabur, Srinadh Bhojanapalli+1 more|arXiv (Cornell University)|Jul 29, 2017

Neural Networks and Applications被引用 107

一句话总结

本文在PAC-Bayes框架下推导了对前馈ReLU网络的基于边际的泛化界限，展示界限如何依赖于各层谱范数的乘积以及每层的Frobenius范数，通过对网络输出的扰动分析来实现。

ABSTRACT

We present a generalization bound for feedforward neural networks in terms of the product of the spectral norm of the layers and the Frobenius norm of the weights. The generalization bound is derived using a PAC-Bayes analysis.

研究动机与目标

• 激励对过参神经网络的泛化界限，这些界限依赖于范数而非参数量级。
• 为前馈ReLU网络发展基于边际的PAC-Bayes界限。
• 将新界限与现有的谱范数边际界限联系起来，并讨论在何种情形下相对于以VC维度为基础的界限具有支配力。
• 通过扰动（尖锐性）分析提供直觉，并与先前的基于范数的界限进行比较。

提出的方法

• 定义边际损失 L_gamma 与经验边际损失 hat{L}_gamma。
• 对带先验P和扰动u的随机预测函数 f_{w+u} 应用PAC-Bayes界限。
• 证明扰动界（引理2），用各层谱范数界定权重扰动下输出变化。
• 推导泛化界限（定理1），表明 L_0 <= hat{L}_gamma + 复杂度项，该项涉及谱范数乘积与逐层Frobenius范数之和。
• 将权重归一化以使各层谱范数相等，并应用带有校准方差的高斯先验以界定KL项。
• 与 Bartlett 等人（2017a）界限进行比较，并讨论新界限在何种情形优于VC界限。

实验结果

研究问题

• RQ1 PAC-Bayes 如何用于推导深度ReLU网络的边际泛化界限？
• RQ2 层级谱范数与Frobenius范数如何影响得到的泛化界限？
• RQ3 在何种情形下提出的界限优于VC维度或其他基于范数的界限？
• RQ4 扰动（尖锐性）视角与过参数化网络的泛化之间有何关系？

主要发现

• 我们得到的基于边际的泛化界限，其规模随各层谱范数乘积与各层Frobenius范数之比的和之和。
• 一个扰动界把权重扰动下的输出变化用谱范数表示，将尖锐性与泛化联系起来。
• 定理1把界限表达为经验边际损失加一个复杂度项，该项随 B^2 d^2 h log(dh) 与谱范数乘积，并加上Frobenius范数之和而增大。
• 该界限提供与 Bartlett 等人（2017a）界限不同的支配 regime，取决于权重的稀疏性和范数结构。
• 作者讨论何时其界限可以超越VC的界限，强调适度的特征值集中或结构化稀疏性等条件。