[论文解读] A ConvNet for the 2020s

Zhuang Liu, Hanzi Mao+4 more|arXiv (Cornell University)|Jan 10, 2022

Advanced Neural Network Applications被引用 169

一句话总结

论文提出 ConvNeXt，一种纯卷积网络，现代化 ResNet 的设计理念以接近 Transformer 的性能，在 ImageNet 获得具有竞争力的准确率，并在 COCO 与 ADE20K 上取得强劲结果，同时不使用注意力机制。

ABSTRACT

The "Roaring 20s" of visual recognition began with the introduction of Vision Transformers (ViTs), which quickly superseded ConvNets as the state-of-the-art image classification model. A vanilla ViT, on the other hand, faces difficulties when applied to general computer vision tasks such as object detection and semantic segmentation. It is the hierarchical Transformers (e.g., Swin Transformers) that reintroduced several ConvNet priors, making Transformers practically viable as a generic vision backbone and demonstrating remarkable performance on a wide variety of vision tasks. However, the effectiveness of such hybrid approaches is still largely credited to the intrinsic superiority of Transformers, rather than the inherent inductive biases of convolutions. In this work, we reexamine the design spaces and test the limits of what a pure ConvNet can achieve. We gradually "modernize" a standard ResNet toward the design of a vision Transformer, and discover several key components that contribute to the performance difference along the way. The outcome of this exploration is a family of pure ConvNet models dubbed ConvNeXt. Constructed entirely from standard ConvNet modules, ConvNeXts compete favorably with Transformers in terms of accuracy and scalability, achieving 87.8% ImageNet top-1 accuracy and outperforming Swin Transformers on COCO detection and ADE20K segmentation, while maintaining the simplicity and efficiency of standard ConvNets.

研究动机与目标

• 重新审视 ConvNet 设计，以 Transformer 启发的现代化缩小与 Vision Transformers 的差距。
• 确定对性能提升有贡献的架构与训练决策，这些超越数据增强。
• 展示 ConvNet 在下游任务如目标检测与语义分割中的竞争力。

提出的方法

• 以使用 Transformer 风格训练技巧（AdamW、Mixup、CutMix、RandAugment 等）训练的 ResNet 基线开始。
• 逐步使宏观设计现代化（阶段计算比、干线/茎、patchify stem）以趋向 Transformer 风格结构。
• 采用 ResNeXt 风格的分组/深度卷积，在受控 FLOPs 的同时增加通道宽度。
• 引入倒置瓶颈在提高表示能力的同时降低总 FLOPs。
• 探索大核深度卷积（7x7）并在块内重新定位深度卷积，以模仿 Transformer 块的特征。
• 应用微观设计调整（激活与归一化选型、下采样策略、LN 与 BN）以最大化 ConvNet 性能。
• 在 ImageNet-1K/22K、COCO（Mask R-CNN、Cascade Mask R-CNN）和 ADE20K 上进行评估，以展示迁移性和可扩展性。

实验结果

研究问题

• RQ1 纯卷积网络能在多大程度上实现现代化以在准确性和可扩展性上媲美分层 Vision Transformers?
• RQ2 哪些架构与训练选择（宏观、微观和训练技巧）对比 Transformer 时对 ConvNet 性能影响最大？
• RQ3 使用 Transformer 风格的数据与技巧训练的 ConvNet 骨干在下游任务（如检测与分割）上能否超越 Swin Transformers？
• RQ4 大规模预训练（ImageNet-22K）是否抹去 Transformer 相对于 ConvNets 的归纳偏置优势？

主要发现

• ConvNeXt 变体在 ImageNet-1K top-1 精度大约 82–87%，取决于大小与分辨率。
• ConvNeXt 在可比 FLOPs 的多种配置下优于 Swin Transformer（例如 224^2 时 ConvNeXt-B vs Swin-B：83.8% vs 83.5%）。
• ConvNeXt-B 在 384^2 达到 85.1% top-1，且在相似计算下吞吐量高于 Swin-B。
• ConvNeXt-XL 在 ImageNet-22K 预训练后达到 87.8% top-1，展现强大的可扩展性。
• 在下游任务中，ConvNeXt 骨干在 COCO 检测/分割与 ADE20K 分割方面与 Swin Transformers 相当或超越，通常具有更好的吞吐量。
• Isotropic ConvNeXt 块在 ViT-like 设置下训练时与 ViT 变体表现相当，展示出不依赖非卷积注意力的竞争性块设计。