[论文解读] FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes

David W. Romero, Robert-Jan Bruintjes+4 more|arXiv (Cornell University)|Oct 15, 2021

Advanced Neural Network Applications参考文献 61被引用 26

一句话总结

FlexConv 引入可学习的高带宽连续卷积核，具可微的卷积核大小，能够实现动态、对分辨率鲁棒的 CNN（FlexNets），在序列数据上达到最先进的结果，并在图像任务上具有竞争力的表现。

ABSTRACT

When designing Convolutional Neural Networks (CNNs), one must select the size\break of the convolutional kernels before training. Recent works show CNNs benefit from different kernel sizes at different layers, but exploring all possible combinations is unfeasible in practice. A more efficient approach is to learn the kernel size during training. However, existing works that learn the kernel size have a limited bandwidth. These approaches scale kernels by dilation, and thus the detail they can describe is limited. In this work, we propose FlexConv, a novel convolutional operation with which high bandwidth convolutional kernels of learnable kernel size can be learned at a fixed parameter cost. FlexNets model long-term dependencies without the use of pooling, achieve state-of-the-art performance on several sequential datasets, outperform recent works with learned kernel sizes, and are competitive with much deeper ResNets on image benchmark datasets. Additionally, FlexNets can be deployed at higher resolutions than those seen during training. To avoid aliasing, we propose a novel kernel parameterization with which the frequency of the kernels can be analytically controlled. Our novel kernel parameterization shows higher descriptive power and faster convergence speed than existing parameterizations. This leads to important improvements in classification accuracy.

研究动机与目标

• 在训练期间激励学习卷积核大小，而非事先固定。
• 开发一个连续卷积核参数化，在固定参数成本下支持高带宽卷积核。
• 提出 MAGNets 以控制频率成分并防止混叠，实现高分辨率部署。
• 证明 FlexNets 在序列任务上优于之前的学习卷积核方法，在图像基准测试中与更深的 CNN 具有竞争力。

提出的方法

• 将 FlexConv 定义为连续卷积核 MLP ψ 与各向异性高斯掩码的乘积，在训练期间学习卷积核大小。
• 引入 MAGNets（Multiplicative Anisotropic Gabor Networks）作为核参数化基础，以控制谱特性。
• 对基于 MAGNet 的表示进行正则化，以在更高分辨率部署时减轻混叠（无混叠 MAGNets）。
• 给出 MAGNets 的最大频率的解析表达式，并将其纳入混叠正则化损失。
• 通过采样密度调整和 Cropping/高效卷积加速（如使用基于傅里叶变换的加速）实现更高分辨率的部署。
• 在序列数据集（FlexTCNs/FlexNets）和图像数据集（CIFAR-10）上进行广泛实验，比较固定核、膨胀卷积和学习核基线。

实验结果

研究问题

• RQ1 卷积核能以高带宽学习，同时其有效大小可以微分且可训练吗？
• RQ2 连续的、基于 MAGNet 的卷积核参数化是否允许在提高分辨率时实现无混叠部署，同时保持或提高精度？
• RQ3 FlexConvs 与 FlexNets 是否在序列数据上优于先前的学习卷积核方法，并且在图像基准测试中与基于池化的 CNN 竞争？
• RQ4 与固定或膨胀卷积核相比，学习卷积核大小是否在收敛速度和计算效率方面具有优势？

主要发现

• FlexConvs 通过将卷积核参数化为一个神经网络乘以高斯掩码，在固定参数数量下实现高带宽卷积核的学习。
• MAGNets 提供对频率成分的解析控制，使无混叠部署到更高分辨率成为可能，且精度损失极小。
• FlexNets 在若干序列数据集上取得最先进的结果，在 CIFAR-10 上与基于池化的架构和学习核方法相比具有竞争力的表现。
• 在低分辨率下使用无混叠 MAGNets 的训练可以在部署到更高分辨率时降低计算时间，同时保持性能。
• 聚焦于 MAGNet 频率的混叠正则化提高了跨分辨率的泛化能力以及在提升到更高分辨率时的稳定性。