[论文解读] Generalization Bounds for Convolutional Neural Networks

Shan Lin, Jingwei Zhang|arXiv (Cornell University)|Oct 3, 2019

Advanced Neural Network Applications参考文献 40被引用 14

一句话总结

该论文通过利用卷积层的稀疏性和权重重用结构，将卷积层转化为等效的全连接矩阵，提出了针对卷积神经网络（CNNs）的更紧致的一般化界。该界基于这些结构化权重重矩阵的谱范数推导得出，在理论上和实证上均表明，相较于全连接网络的现有界，该界显著更紧，尤其在MobileNet V1和V2等架构中表现突出。

ABSTRACT

Convolutional neural networks (CNNs) have achieved breakthrough performances in a wide range of applications including image classification, semantic segmentation, and object detection. Previous research on characterizing the generalization ability of neural networks mostly focuses on fully connected neural networks (FNNs), regarding CNNs as a special case of FNNs without taking into account the special structure of convolutional layers. In this work, we propose a tighter generalization bound for CNNs by exploiting the sparse and permutation structure of its weight matrices. As the generalization bound relies on the spectral norm of weight matrices, we further study spectral norms of three commonly used convolution operations including standard convolution, depthwise convolution, and pointwise convolution. Theoretical and experimental results both demonstrate that our bounds for CNNs are tighter than existing bounds.

研究动机与目标

• 为了解决尽管在实践中表现成功，但过度参数化的CNNs在一般化方面的理论理解仍存在空白的问题。
• 开发一个显式考虑卷积层结构性质（如权重重用和稀疏性）的一般化界。
• 证明利用这些结构性质可获得比基于全连接神经网络理论推导出的界更紧致的界。
• 通过在MobileNet V1和V2架构上的实证比较，验证理论上的改进。

提出的方法

• 将每个卷积层转化为一个等效的全连接层，其权重重矩阵具有由卷积滤波器导出的稀疏且结构化的特性。
• 分析由此产生的全连接权重重矩阵的谱范数，利用其稀疏性和置换不变性结构。
• 基于变换后权重重矩阵的谱范数推导一般化界，结合层间范数和网络深度。
• 为标准卷积、深度可分离卷积和逐点卷积生成的权重重矩阵提供谱范数的理论上限。
• 使用覆盖数论证和基于范数的复杂度度量来界定一般化误差。
• 使用训练好的权重，在MobileNet V1和V2上实证评估该界，比较其与现有方法的大小差异。

实验结果

研究问题

• RQ1 能否利用卷积层的结构性质——特别是稀疏性和权重重用——来推导出比全连接网络更紧致的一般化界？
• RQ2 由不同卷积操作（标准卷积、深度可分离卷积、逐点卷积）生成的权重重矩阵的谱范数如何比较？能否利用原始卷积滤波器的范数来界定这些谱范数？
• RQ3 与现有深度网络的一般化界相比，所提出的界是否在紧致性上实现显著改进？
• RQ4 该理论界在多大程度上与真实世界CNN架构（如MobileNet）的实证性能相关？

主要发现

• 所提出的泛化界比全连接网络的现有界更紧，尤其在具有卷积层的模型中表现更优。
• 该界通过分析由卷积权重重生成的全连接矩阵的谱范数推导得出，充分利用了其稀疏性和共享权重模式。
• 理论分析表明，变换后权重重矩阵的谱范数可利用原始卷积滤波器的范数进行上界界定。
• 在MobileNet V1和V2上的实证评估表明，所提界的大小显著小于现有界，验证了其紧致性。
• 在深度更深且参数效率更高的架构（如MobileNets）中，由于权重重用广泛存在，该界在紧致性上的改进最为显著。
• 该界随网络深度和层宽呈有利扩展，其复杂度为 $\widetilde{\mathcal{O}}\left(\frac{s^{\frac{L-1}{4}}L^{\frac{3}{4}}a^{\frac{1}{4}}c^{\frac{1}{2}}m^{\frac{1}{8}}r^{\frac{1}{2}}}{\sqrt{n}}\right)$，反映出对模型容量依赖性的改进。