[论文解读] More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using Sparsity

Shiwei Liu, Tianlong Chen+8 more|University of Twente Research Information|Jul 7, 2022

Advanced Neural Network Applications被引用 86

一句话总结

论文提出 Sparse Large Kernel Network (SLaK)，是一种纯卷积神经网络，使用分解的大核（51×51）并具备稀疏分组和动态稀疏以在超越 31×31 的尺度时实现扩展，在 ImageNet 与下游视觉任务上达到与最前沿 Transformers 相当或更优的结果。

ABSTRACT

Transformers have quickly shined in the computer vision world since the emergence of Vision Transformers (ViTs). The dominant role of convolutional neural networks (CNNs) seems to be challenged by increasingly effective transformer-based models. Very recently, a couple of advanced convolutional models strike back with large kernels motivated by the local-window attention mechanism, showing appealing performance and efficiency. While one of them, i.e. RepLKNet, impressively manages to scale the kernel size to 31x31 with improved performance, the performance starts to saturate as the kernel size continues growing, compared to the scaling trend of advanced ViTs such as Swin Transformer. In this paper, we explore the possibility of training extreme convolutions larger than 31x31 and test whether the performance gap can be eliminated by strategically enlarging convolutions. This study ends up with a recipe for applying extremely large kernels from the perspective of sparsity, which can smoothly scale up kernels to 61x61 with better performance. Built on this recipe, we propose Sparse Large Kernel Network (SLaK), a pure CNN architecture equipped with sparse factorized 51x51 kernels that can perform on par with or better than state-of-the-art hierarchical Transformers and modern ConvNet architectures like ConvNeXt and RepLKNet, on ImageNet classification as well as a wide range of downstream tasks including semantic segmentation on ADE20K, object detection on PASCAL VOC 2007, and object detection/segmentation on MS COCO.

研究动机与目标

• 通过扩大卷积网络的核大小超过 31×31 以捕捉长程依赖，同时尽量保留局部性来提供可扩展性。
• 开发一种实用的训练方案，利用核分解与稀疏性来支持大核。
• 构建并评估 SLaK，一种纯 CNN，核大小为 51×51，在 ImageNet 及下游任务中对比最先进的 CNN 和 Transformer 的表现。

提出的方法

• 将一个大 M×M 核分解成两个并行的矩形核，尺寸为 M×N 和 N×M（N < M），以在长程依赖和局部细节之间取得平衡。
• 用稀疏分组替代密集核，并在训练中应用动态稀疏来剪枝与生长连接，从而实现宽度扩展的可扩展性。
• 分解后在后续使用 5×5 的并行分支，并在求和输出前应用 BatchNorm 以稳定训练。
• 延续 ConvNeXt 风格的架构，同时将每个阶段的核大小增至 [51, 49, 47, 13]，并以 40% 的稀疏性和 1.3× 的宽度扩展进行稀疏化。
• 按既定的数据增强与正则化协议，在更长的训练周期（ImageNet-1K 为 300 轮）下训练模型，并与 ConvNeXt 和 RepLKNet 基线进行对比。

实验结果

研究问题

• RQ1 是否能够在不发生性能下降的情况下，训练出极大核（超越 31×31）的 CNN？
• RQ2 核分解再加稀疏分组是否能够使大核 CNN 相对于基于 Transformer 的体系结构具备可扩展的高性能？
• RQ3 对于非常大的核，稀疏训练动态对准确率、FLOPs 与参数效率有何影响？
• RQ4 大核是否在高分辨率输入及下游视觉任务（分割、检测）上提供相对于 ImageNet 的优势？
• RQ5 SLaK 与最先进的 CNN 与 Transformer 在多样化视觉基准上的对比如何？

主要发现

• 一种分解策略（M×N 和 N×M，且 N=5）使得核可扩展至 61×61，并在性能上优于直接使用大核的方案。
• 动态稀疏加上宽度扩展（40% 稀疏、1.3× 宽度）带来显著的准确率提升并降低 FLOPs，在 120 轮实验中 ConvNeXt 主干在 51×51 核上达到 81.6% 的 top-1。
• 在 ImageNet-1K 上，SLaK-T 达到 82.5%、SLaK-B 达到 84.0%（224×224），在效率上与 ConvNeXt 和 RepLKNet 基线相当或更好；在 384×384 时，SLaK-B 达到 85.5%。
• 在 ADE20K 上，较大的核带来更高的 mIoU，SLaK-T 的 51×51 达到 46.2，而 ConvNeXt-T 的 31×31（RepLKNet）为 45.0，且 300 轮训练超越了 ConvNeXt-S。
• 在 PASCAL VOC 2007 目标检测上，SLaK-T 使用 51×51 达到 82.7 mAP，而 ConvNeXt-T-7×7 为 80.6，RepLKNet 31×31 为 81.3。
• 在 MS COCO 上，SLaK-T（51×51）在更长时间微调后达到 48.4 APbox 和 51.3 APbox，超越若干密集核基线，同时 FLOPs 相当或更低。