[论文解读] Band-limited Training and Inference for Convolutional Neural Networks

Adam Dziedzic, John Paparrizos+3 more|arXiv (Cornell University)|Nov 21, 2019

Image and Signal Denoising Methods被引用 21

一句话总结

该论文通过在前向传播和反向传播过程中使用基于FFT的卷积，对滤波器和输入的频谱进行约束，提出了一种用于卷积神经网络（CNNs）的带限训练与推理方法。该方法在仅造成轻微精度损失的前提下，显著降低了GPU内存占用和计算量，提供了一种稳定、与架构无关的压缩技术，且在更高压缩率下仍能实现平滑降级。

ABSTRACT

The convolutional layers are core building blocks of neural network architectures. In general, a convolutional filter applies to the entire frequency spectrum of the input data. We explore artificially constraining the frequency spectra of these filters and data, called band-limiting, during training. The frequency domain constraints apply to both the feed-forward and back-propagation steps. Experimentally, we observe that Convolutional Neural Networks (CNNs) are resilient to this compression scheme and results suggest that CNNs learn to leverage lower-frequency components. In particular, we found: (1) band-limited training can effectively control the resource usage (GPU and memory); (2) models trained with band-limited layers retain high prediction accuracy; and (3) requires no modification to existing training algorithms or neural network architectures to use unlike other compression schemes.

研究动机与目标

• 探究在训练过程中对CNN滤波器和输入的频谱进行约束，是否可以在不牺牲精度的前提下减少资源使用。
• 开发一种稳定、高效且通用的CNN压缩方法，无需对现有训练算法或网络架构进行修改。
• 评估频域压缩对模型鲁棒性的影响，特别是对高频噪声和对抗性攻击的鲁棒性。
• 通过连续的压缩控制 knob，探索计算效率与预测性能之间的权衡。

提出的方法

• 该方法采用基于FFT的卷积，将输入张量和滤波器张量转换到频域，在逐元素相乘前截断高频分量。
• 实现了一种带限卷积层，该层在前向和反向传播过程中均限制傅里叶谱，将梯度投影到允许的频率分量上。
• 该实现利用了二维FFT中的共轭对称性，重用频域图，并使用快速复数运算以提高效率。
• 该方法支持一维和二维数据，包括时间序列和图像分类任务，且无需对标准训练流程进行任何修改。
• 通过丢弃固定数量的高频系数实现压缩，解压缩通过零填充和逆FFT完成。
• 该方法与标准深度学习框架兼容，无需专用库或重新训练方案。

实验结果

研究问题

• RQ1 是否可以在不进行架构或算法修改的前提下，仅使用滤波器和输入频谱的子集对CNN进行有效训练？
• RQ2 带限训练在不同压缩率下如何影响模型精度、内存使用和计算成本？
• RQ3 带限训练是否能提高对高频噪声和对抗性扰动的鲁棒性？
• RQ4 基于系数的压缩（固定数量系数被丢弃）与自适应频率剪枝（固定能量比例被丢弃）相比，表现如何？
• RQ5 带限训练是否能有效应用于多样化数据模态，如一维时间序列和二维图像？

主要发现

• 带限训练将GPU内存使用量最高降低了80%（例如，从118GB降至21GB），在图像任务中使用DenseNet-121时仅造成轻微精度下降。
• 在时间序列数据上，使用50%频率压缩训练的模型在测试集上准确率为59.34%，而全频谱模型为64.40%，表明其具有平滑降级特性。
• 基于系数的压缩（固定数量系数被丢弃）在保持精度方面优于自适应剪枝（固定能量比例被丢弃）。
• 带限模型对高频噪声和对抗性攻击表现出更强的鲁棒性，表明其对低频表示具有有益的归纳偏置。
• 该方法在不同网络（如ResNet-18、DenseNet-121、FCN）中均保持训练稳定性，且无需修改优化算法或网络架构。
• 该方法实现了资源使用与精度之间的连续权衡，适用于流式处理和外部内存计算等应用场景。