[论文解读] Dilated convolution with learnable spacings

Ismail Khalfaoui-Hassani, Thomas Pellegrini+1 more|arXiv (Cornell University)|Dec 7, 2021

Advanced Neural Network Applications参考文献 46被引用 18

一句话总结

本文提出了一种可微的扩张卷积方法——可学习间距的扩张卷积（DCLS），通过插值学习扩张卷积中非零卷积核元素的位置，从而在不增加参数量的情况下扩大感受野。DCLS在参数量不变的前提下显著提升了ImageNet-1K分类准确率及下游任务性能，且计算吞吐量损失极小，优于标准卷积与固定扩张卷积。

ABSTRACT

Recent works indicate that convolutional neural networks (CNN) need large receptive fields (RF) to compete with visual transformers and their attention mechanism. In CNNs, RFs can simply be enlarged by increasing the convolution kernel sizes. Yet the number of trainable parameters, which scales quadratically with the kernel's size in the 2D case, rapidly becomes prohibitive, and the training is notoriously difficult. This paper presents a new method to increase the RF size without increasing the number of parameters. The dilated convolution (DC) has already been proposed for the same purpose. DC can be seen as a convolution with a kernel that contains only a few non-zero elements placed on a regular grid. Here we present a new version of the DC in which the spacings between the non-zero elements, or equivalently their positions, are no longer fixed but learnable via backpropagation thanks to an interpolation technique. We call this method "Dilated Convolution with Learnable Spacings" (DCLS) and generalize it to the n-dimensional convolution case. However, our main focus here will be on the 2D case. We first tried our approach on ResNet50: we drop-in replaced the standard convolutions with DCLS ones, which increased the accuracy of ImageNet1k classification at iso-parameters, but at the expense of the throughput. Next, we used the recent ConvNeXt state-of-the-art convolutional architecture and drop-in replaced the depthwise convolutions with DCLS ones. This not only increased the accuracy of ImageNet1k classification but also of typical downstream and robustness tasks, again at iso-parameters but this time with negligible cost on throughput, as ConvNeXt uses separable convolutions. Conversely, classic DC led to poor performance with both ResNet50 and ConvNeXt. The code of the method is available at: https://github.com/K-H-Ismail/Dilated-Convolution-with-Learnable-Spacings-PyTorch.

研究动机与目标

• 解决标准扩张卷积中固定且规则的网格间距带来的局限性，该局限性限制了感受野的优化。
• 实现扩张卷积中非零卷积核元素位置的基于梯度的端到端学习，克服离散位置带来的不可微性问题。
• 在不增加模型参数量或计算成本的前提下，提升图像分类与鲁棒性任务的性能。
• 评估DCLS作为现代CNN（如ConvNeXt）中卷积层的即插即用替代方案，尤其适用于深度可分离卷积结构。
• 探索DCLS在大规模视觉基准（如ImageNet-1K）上的可扩展性与有效性。

提出的方法

• DCLS利用双线性插值使非零卷积核元素的离散位置可微，从而支持端到端反向传播。
• 该方法将卷积核位置参数化为连续偏移量，在训练过程中进行优化，同时保持稀疏性。
• 该方法可推广至1D、2D、3D及混合维度（如2-1D、3-2D）卷积，重点聚焦于计算机视觉中的2D卷积。
• 卷积核权重与位置联合优化，通过通道与空间位置之间的位置共享机制减少过拟合风险。
• 该方法与高效实现方式（如深度可分离隐式GEMM）兼容，最大限度降低吞吐量开销。
• 该方法避免使用输入依赖型机制（如可变形卷积），保持输入无关性与训练稳定性。

实验结果

研究问题

• RQ1 能否通过学习扩张卷积中非零元素的位置来提升感受野效率与模型准确率？
• RQ2 在相同参数量下，DCLS是否在图像分类与下游任务中优于标准卷积与固定扩张卷积？
• RQ3 DCLS能否在现代CNN（如ConvNeXt）中作为即插即用模块使用，且不会造成显著吞吐量下降？
• RQ4 位置共享与插值机制如何影响DCLS的训练稳定性和性能表现？
• RQ5 DCLS在大规模基准（如ImageNet-1K）与鲁棒性基准上是否具有有效性？

主要发现

• 在ConvNeXt中，DCLS替换深度可分离卷积后，显著提升了ImageNet-1K的top-1准确率，且吞吐量损失可忽略不计。
• 在ResNet50中，DCLS在参数量不变的情况下提升了准确率，但带来了吞吐量下降，与在ConvNeXt中的表现不同。
• 标准扩张卷积在ResNet50与ConvNeXt中均未能提升性能，表明其结构刚性限制了性能上限。
• 在ConvNeXt中，DCLS优于输入依赖型方法（如可变形卷积v2），后者导致训练不稳定与高延迟。
• DCLS在下游任务与鲁棒性任务中均表现出一致的性能增益，表明其应用潜力不仅限于图像分类任务。
• 在阶段内部进行位置共享对DCLS的稳定且高效的训练至关重要。