[论文解读] Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training

Sheng Liu, Xiao Li+5 more|arXiv (Cornell University)|Feb 28, 2021

Advanced Neural Network Applications被引用 8

一句话总结

本文提出卷积归一化（ConvNorm），一种新颖且高效的深度卷积神经网络归一化方法，通过利用傅里叶域中的卷积结构，强制实现通道级等距性。通过使用快速傅里叶变换对权重矩阵进行归一化，ConvNorm 降低了谱范数，增强了利普希茨性，并提升了训练稳定性和鲁棒性——在 CIFAR-10 和 ImageNet 上，其在准确率、对抗鲁棒性和数据效率方面均优于批量归一化（BatchNorm）和先前的正交正则化方法。

ABSTRACT

Normalization techniques have become a basic component in modern convolutional neural networks (ConvNets). In particular, many recent works demonstrate that promoting the orthogonality of the weights helps train deep models and improve robustness. For ConvNets, most existing methods are based on penalizing or normalizing weight matrices derived from concatenating or flattening the convolutional kernels. These methods often destroy or ignore the benign convolutional structure of the kernels; therefore, they are often expensive or impractical for deep ConvNets. In contrast, we introduce a simple and efficient "Convolutional Normalization" (ConvNorm) method that can fully exploit the convolutional structure in the Fourier domain and serve as a simple plug-and-play module to be conveniently incorporated into any ConvNets. Our method is inspired by recent work on preconditioning methods for convolutional sparse coding and can effectively promote each layer's channel-wise isometry. Furthermore, we show that our ConvNorm can reduce the layerwise spectral norm of the weight matrices and hence improve the Lipschitzness of the network, leading to easier training and improved robustness for deep ConvNets. Applied to classification under noise corruptions and generative adversarial network (GAN), we show that the ConvNorm improves the robustness of common ConvNets such as ResNet and the performance of GAN. We verify our findings via numerical experiments on CIFAR and ImageNet.

研究动机与目标

• 解决现有卷积神经网络权重归一化方法忽略卷积结构且计算成本过高的局限性。
• 开发一种即插即用的归一化模块，保持平移不变性并实现高效的通道级正交化。
• 提升在数据损坏和对抗攻击下的训练稳定性、泛化能力和鲁棒性。
• 降低层间谱范数，改善卷积层的条件数。
• 实现在深度和过参数化网络（如 ResNet50 和 ResNet152）中的可扩展、高效归一化。

提出的方法

• ConvNorm 通过将每个输出通道归一化为紧框架，重新参数化卷积核，确保能量守恒和通道级等距性。
• 其在傅里叶域中通过快速傅里叶变换（FFT）运行，实现无需矩阵分解的核逆运算的高效计算。
• 该方法对每个通道权重矩阵的频谱应用预计算的归一化核 $ v $，随后施加可学习仿射变换 $ r $。
• 该方法在通道层面强制正交性，保持卷积结构，避免对核进行展平。
• 归一化作为即插即用模块应用，兼容任何现有卷积神经网络架构。
• 该方法受卷积稀疏编码中预处理技术的启发，经适配后用于深度学习优化。

实验结果

研究问题

• RQ1 一种在傅里叶域中显式利用卷积结构的归一化方法，是否能提升深度卷积神经网络的训练效果与鲁棒性？
• RQ2 在泛化能力和对抗鲁棒性方面，ConvNorm 与 BatchNorm 及其他权重归一化技术相比表现如何？
• RQ3 通过 ConvNorm 强制实现通道级等距性，是否能降低谱范数并改善卷积神经网络层的层间条件数？
• RQ4 ConvNorm 是否能高效扩展至大型网络（如 ResNet50 和 ResNet152）而不会带来过高的计算成本？
• RQ5 在标签噪声和数据稀缺条件下，将 ConvNorm 与 BatchNorm 结合使用对性能有何影响？

主要发现

• ConvNorm 降低了权重矩阵的层间谱范数，增强了网络的利普希茨性，从而实现更易训练。
• 在 CIFAR-10 上，使用 80% 标签噪声时，ConvNorm 与 BatchNorm 结合在 PGD-10 对抗攻击下达到 46.12% 的测试准确率，优于 Cayley 变换方法（38.35%）。
• 在数据稀缺和标签噪声条件下，ConvNorm 相较于原始网络将测试准确率最高提升 4.5%，且平均条件数比值改善达 3.332。
• 在 CIFAR-10 上训练一个 epoch 的 ResNet18，使用 ConvNorm 仅需 60 秒，而原始模型仅需 21 秒，Cayley 变换则需 182 秒，表明其具有显著更高的效率。
• ConvNorm 在降低条件数方面优于 SN、ONI 和 OCNN，其 ρ 值为 3.332，表明其相对于原始基线的显著改进。
• 该方法在大规模网络中具有可扩展性和有效性，已在 ResNet18 上得到验证，且可扩展至 ResNet50 和 ResNet152。