[论文解读] Generalization bounds for deep convolutional neural networks

Philip M. Long, Hanie Sedghi|arXiv (Cornell University)|May 29, 2019

Advanced Neural Network Applications参考文献 43被引用 33

一句话总结

本文给出对深度卷积神经网络的泛化界限，基于与初始化的距离和参数数量，与输入尺寸无关，并通过 CIFAR-10 实验验证这些界限。

ABSTRACT

We prove bounds on the generalization error of convolutional networks. The bounds are in terms of the training loss, the number of parameters, the Lipschitz constant of the loss and the distance from the weights to the initial weights. They are independent of the number of pixels in the input, and the height and width of hidden feature maps. We present experiments using CIFAR-10 with varying hyperparameters of a deep convolutional network, comparing our bounds with practical generalization gaps.

研究动机与目标

• 激励并分析卷积网络的泛化，超越全连接模型。
• 建立依赖于与初始化的距离和总参数数量，而非输入维度的泛化界限。
• 证明卷积权值共享相对全连接网络可降低实际复杂度。
• 为深层卷积神经网络的初始化和训练动力学提供实际意义与指导。

提出的方法

• 利用网络的 Lipschitz 性质和覆盖数技术证明泛化界限。
• 为卷积核和最后一层权重定义与初始化的距离度量。
• 给出深度线性依赖的界限，与以往工作中的指数深度依赖相比。
• 将经验过程界限（Giné and Guillou）应用于基于覆盖数的界限。
• 推导两种界限形式：训练/测试差距界限和相对误差型界限。
• 将界限扩展到具有精确 Lipschitz 参数的通用 CNN+FC 架构。

实验结果

研究问题

• RQ1 CNN 的泛化界限如何依赖于与初始化的距离和参数数量？
• RQ2 CNN 的界限是否可以与输入图像大小与特征图维度无关？
• RQ3 网络深度对推导出的泛化界限有何影响？
• RQ4 卷积权值共享和初始化方案如何影响这些界限？
• RQ5 经验实验（如 CIFAR-10）是否在超参数范围内与理论界限一致？

主要发现

• 界限与初始化距离及参数总数成比例，并且与输入大小无关。
• 实现了深度线性相关的界限，避免了早期分析中常见的指数深度依赖。
• CIFAR-10 的实验表明泛化差距随初始化距离与参数数量的乘积增加而增大。
• 在实践中，增加过参数化可以使泛化差距变平，这与观察到的趋势一致，而距离度量有助于解释这一行为。
• 该分析适用于结合卷积和全连接层的网络，并与先前的全连接网络结果一致。
• 界限利用损失的 Lipschitz 性质和非扩张型激活，以及覆盖数的论证来界定估计误差。