[论文解读] Norm-based generalisation bounds for multi-class convolutional neural networks

Antoine Ledent, Waleed Mustafa+2 more|arXiv (Cornell University)|May 29, 2019

Sparse and Compressive Sensing Techniques参考文献 61被引用 5

一句话总结

本文为多类卷积神经网络提出了新颖的基于范数的泛化界，消除了对类别数量的显式依赖（仅保留在对数因子中），并通过仅对每个卷积滤波器的范数计数一次（无论其被重用多少次）来考虑权重重用。该界与权重矩阵的Frobenius范数成比例，并在初始化附近保持紧致性，从而支持对优化诱导归纳偏置的改进理论分析。

ABSTRACT

We show generalisation error bounds for deep learning with two main improvements over the state of the art. (1) Our bounds have no explicit dependence on the number of classes except for logarithmic factors. This holds even when formulating the bounds in terms of the $L^2$-norm of the weight matrices, where previous bounds exhibit at least a square-root dependence on the number of classes. (2) We adapt the classic Rademacher analysis of DNNs to incorporate weight sharing -- a task of fundamental theoretical importance which was previously attempted only under very restrictive assumptions. In our results, each convolutional filter contributes only once to the bound, regardless of how many times it is applied. Further improvements exploiting pooling and sparse connections are provided. The presented bounds scale as the norms of the parameter matrices, rather than the number of parameters. In particular, contrary to bounds based on parameter counting, they are asymptotically tight (up to log factors) when the weights approach initialisation, making them suitable as a basic ingredient in bounds sensitive to the optimisation procedure. We also show how to adapt the recent technique of loss function augmentation to our situation to replace spectral norms by empirical analogues whilst maintaining the advantages of our approach.

研究动机与目标

• 解决深度学习中泛化界存在的根本理论挑战，即对类别数量存在显式、非对数依赖。
• 开发能正确反映卷积神经网络中权重重用的泛化界，使得每个滤波器仅对界贡献一次。
• 确保当网络权重接近初始化时，界保持渐近紧致（最多对数因子），以支持对优化诱导归纳偏置的分析。
• 通过损失函数增强将理论谱范数替换为经验对应物，实现基于范数界的实用化。
• 利用ReLU等非线性激活函数和池化操作的$L^\infty$-连续性，改善宽度依赖性。

提出的方法

• 将Rademacher复杂度分析适配于CNN中的权重重用，将每个滤波器的Frobenius范数视为单一贡献，无论其在空间中的应用次数。
• 使用权重矩阵的$L^2$范数制定泛化界，避免先前工作中出现的对类别数量的平方根依赖。
• 引入归一化边际项$\gamma(x_i)/R$，其中$R$结合了滤波器范数与网络宽度，实现跨架构的比较。
• 通过损失函数增强，将理论谱范数替换为经验对应物，同时保持理论保证并提升实用性。
• 利用ReLU和池化操作的$L^\infty$-连续性，显著降低界中对网络宽度的显式依赖。
• 推导出与参数范数成比例而非参数数量的界，确保在初始化附近保持渐近紧致性。

实验结果

研究问题

• RQ1 能否在不显式依赖类别数量（除对数因子外）的情况下，为多类CNN制定泛化界？
• RQ2 如何在泛化界中理论性地反映卷积层中的权重重用，使得每个滤波器仅贡献一次？
• RQ3 当权重接近初始化时，基于范数的界是否能保持渐近紧致性，从而支持对优化诱导归纳偏置的分析？
• RQ4 是否可能在不损失理论保证的前提下，将泛化界中的谱范数替换为经验对应物？
• RQ5 ReLU等非线性激活函数和池化操作如何影响泛化界中的宽度依赖性？

主要发现

• 所提出的界在使用$L^2$范数时，对类别数量无显式非对数依赖，解决了先前工作的关键局限。
• 无论卷积滤波器被应用多少次，其仅对界贡献一次，正确捕捉了权重重用机制。
• 当权重趋近于初始化时，该界保持渐近紧致（最多对数因子），适用于分析优化诱导的归纳偏置。
• 非线性激活函数的$L^\infty$-连续性显著降低了界中对网络宽度的显式依赖。
• 损失函数增强成功地将谱范数替换为经验对应物，同时保留了该方法的理论优势。
• 在增强MNIST和合成数据上的实验表明，归一化边际$\gamma(x_i)/R$对输入尺寸和数据规模具有鲁棒性，而传统归一化方法使用$M$时则随数据尺度剧烈变化。