[论文解读] Asymptotic Singular Value Distribution of Linear Convolutional Layers

Xinping Yi|arXiv (Cornell University)|Jun 12, 2020

Electromagnetic Scattering and Analysis参考文献 37被引用 5

一句话总结

该论文通过引入块双托普利茨矩阵的谱密度矩阵表示，对卷积神经网络中线性卷积层进行了渐近谱分析，实现了比循环卷积近似更精确的奇异值逼近。该方法在计算成本更低的前提下，提供了更紧致的谱范数上界，可作为有效的谱正则化项，提升ResNets的泛化性能，在CIFAR-10上实现了最高1.1%的准确率增益。

ABSTRACT

In convolutional neural networks, the linear transformation of multi-channel two-dimensional convolutional layers with linear convolution is a block matrix with doubly Toeplitz blocks. Although a "wrapping around" operation can transform linear convolution to a circular one, by which the singular values can be approximated with reduced computational complexity by those of a block matrix with doubly circulant blocks, the accuracy of such an approximation is not guaranteed. In this paper, we propose to inspect such a linear transformation matrix through its asymptotic spectral representation - the spectral density matrix - by which we develop a simple singular value approximation method with improved accuracy over the circular approximation, as well as upper bounds for spectral norm with reduced computational complexity. Compared with the circular approximation, we obtain moderate improvement with a subtle adjustment of the singular value distribution. We also demonstrate that the spectral norm upper bounds are effective spectral regularizers for improving generalization performance in ResNets.

研究动机与目标

• 为解决线性卷积层中常用循环卷积近似在减少SVD复杂度时缺乏理论保证的问题。
• 开发一种更精确且计算效率更高的方法，用于近似线性卷积层权重重心矩阵的奇异值。
• 推导可用于正则化以提升深度网络（如ResNets）泛化性能的谱范数上界。
• 将Szegő定理推广至非厄米特块双托普利茨矩阵，以实现对渐近谱特性的分析。

提出的方法

• 将多通道二维卷积层的线性变换矩阵表示为块双托普利茨矩阵，其奇异值与经重排后的矩阵块形式等价。
• 引入谱密度矩阵以表示权重重心矩阵的渐近奇异值分布，从而通过该密度矩阵的特征值实现谱分析。
• 将Szegő定理的扩展应用于非厄米特块双托普利茨矩阵，以证明奇异值分布与谱密度矩阵之间的渐近等价性。
• 推导出两种谱范数上界：一种基于重排后的滤波器矩阵（R 和 L），另一种基于子矩阵（T_{k,l}），两者均可通过幂法以 O(hwc_out c_in) 的复杂度计算。
• 在训练目标中使用推导出的上界作为正则化项，其中幂法在前向传播中应用，奇异向量的导数用于反向传播。
• 在CIFAR-10上的ResNet-20中采用改进的训练流程，通过不同β值的上界实现谱正则化，以评估泛化性能。

实验结果

研究问题

• RQ1 与循环卷积近似相比，谱密度矩阵表示在多大程度上提升了线性卷积层中奇异值逼近的准确性？
• RQ2 与现有方法相比，能否为线性卷积层推导出计算成本更低但更紧致的谱范数上界？
• RQ3 谱范数上界在多大程度上可作为有效正则化项，以提升深度残差网络的泛化性能？
• RQ4 通过谱密度矩阵实现的渐近谱分析，是否适用于卷积神经网络中出现的非厄米特块双托普利茨矩阵？

主要发现

• 所提出的基于谱密度矩阵的方法在奇异值逼近精度上相较于循环卷积近似实现了适度提升，对奇异值分布进行了细微但具有实际意义的调整。
• 基于重排滤波器矩阵（R 和 L）推导出的谱范数上界比基于子矩阵（T_{k,l}）的上界更紧致，从而带来更好的泛化性能。
• 使用更紧致的上界（29）进行谱正则化，使测试准确率相比基线（β=0）提升了1.1%；而使用较松散的上界（31）则实现了0.8%的提升。
• 对于上界（31），最优正则化强度β=0.0014在CIFAR-10上实现了90.48%的最高测试准确率，优于较低和较高的β值。
• 计算谱范数上界的计算复杂度为O(hwc_out c_in)，幂法使得训练过程中前向与反向传播的计算高效可行。
• 将谱范数上界作为正则化项，能有效缓解梯度消失/爆炸问题，并增强ResNet-20的鲁棒性与泛化能力。