[论文解读] Fantastic Four: Differentiable Bounds on Singular Values of Convolution Layers

Sahil Singla, Soheil Feizi|arXiv (Cornell University)|Nov 22, 2019

Sparse and Compressive Sensing Techniques参考文献 43被引用 7

一句话总结

本文提出了四种可微、高效的二维卷积层谱范数上界，其中一种上界与Miyato等人启发式方法在滤波器尺寸缩放后等价。通过取这些上界的最小值，该方法实现了紧致、可训练的正则化器，在MNIST和CIFAR-10上显著提升了泛化能力和鲁棒性，且计算开销可忽略不计。

ABSTRACT

In deep neural networks, the spectral norm of the Jacobian of a layer bounds the factor by which the norm of a signal changes during forward/backward propagation. Spectral norm regularizations have been shown to improve generalization, robustness and optimization of deep learning methods. Existing methods to compute the spectral norm of convolution layers either rely on heuristics that are efficient in computation but lack guarantees or are theoretically-sound but computationally expensive. In this work, we obtain the best of both worlds by deriving {\it four} provable upper bounds on the spectral norm of a standard 2D multi-channel convolution layer. These bounds are differentiable and can be computed efficiently during training with negligible overhead. One of these bounds is in fact the popular heuristic method of Miyato et al. (multiplied by a constant factor depending on filter sizes). Each of these four bounds can achieve the tightest gap depending on convolution filters. Thus, we propose to use the minimum of these four bounds as a tight, differentiable and efficient upper bound on the spectral norm of convolution layers. We show that our spectral bound is an effective regularizer and can be used to bound either the lipschitz constant or curvature values (eigenvalues of the Hessian) of neural networks. Through experiments on MNIST and CIFAR-10, we demonstrate the effectiveness of our spectral bound in improving generalization and provable robustness of deep networks.

研究动机与目标

• 解决卷积层谱范数上界缺乏高效、可微且理论可靠的现状。
• 克服在大型卷积神经网络中显式计算雅可比矩阵谱范数的计算不可行性。
• 解决现有方法中由于卷积层雅可比矩阵的结构化稀疏性导致的梯度计算问题，避免产生不一致或错误的梯度。
• 开发一种实用的正则化器，能紧致地约束Lipschitz常数和黑塞矩阵曲率，以提升模型泛化能力和对抗鲁棒性。
• 提供一种可扩展的替代方案，替代精确谱范数计算，在保持理论保证的同时支持端到端训练。

提出的方法

• 利用矩阵分析和奇异值分解，推导出二维多通道卷积层谱范数的四个可证明有效的上界。
• 每个上界均可微且可通过变换后的滤波器矩阵上的幂迭代在O(n²)时间内计算，避免了显式构建雅可比矩阵。
• 其中一个上界在数学上等价于Miyato等人提出的权重归一化启发式方法，但按滤波器高和宽进行缩放。
• 提出将四个上界中的最小值作为训练过程中真实谱范数的紧致、可微且高效的代理。
• 将最小上界用作正则化器，以控制网络的Lipschitz常数和曲率（黑塞矩阵特征值）。
• 通过将该上界整合到基于曲率的鲁棒性证书（CRC）框架中，将方法扩展至认证鲁棒性。

实验结果

研究问题

• RQ1 我们能否推导出对卷积层谱范数的可微、高效且可证明有效的上界？
• RQ2 与现有启发式方法和精确方法相比，所提出的最小上界在紧致性和训练效率方面表现如何？
• RQ3 所提出的谱范数上界在多大程度上能提升深度神经网络的泛化能力和鲁棒性？
• RQ4 该谱范数能否用于在标准基准上计算具有实际意义的认证鲁棒性证书？
• RQ5 尽管卷积层具有结构化稀疏性，该谱范数的梯度计算在反向传播过程中是否仍保持一致且正确？

主要发现

• 在γ=0.03时，该方法在MNIST上实现了91.25%的认证鲁棒准确率，在CIFAR-10上实现了29.26%的认证鲁棒准确率，显著优于基线（γ=0时为0%认证准确率）。
• 四个上界中的最小值始终提供比任一单独上界更紧致的谱范数估计，尤其在滤波器尺寸较大时更为显著。
• 对于CIFAR-10上的ResNet-32，当β从0增加到0.0018时，16×3×3×3滤波器的谱范数上界从37.96降至5.57，表明正则化效果显著。
• 在γ=0.01时，该方法在CIFAR-10上实现了17.39%的认证鲁棒准确率，表明该上界能够实现有意义的鲁棒性认证。
• 梯度计算保持一致且正确，避免了先前方法中出现的虚假非零梯度和不一致值的问题。
• 谱范数上界缩小了真实谱范数与其估计值之间的差距，且随着β的增加，该差距减小，表明上界紧致性不断提升。