[论文解读] CMT: Convolutional Neural Networks Meet Vision Transformers

Jianyuan Guo, Kai Han+5 more|arXiv (Cornell University)|Jul 13, 2021

Advanced Neural Network Applications参考文献 65被引用 57

一句话总结

CMT 将 CNN 干线与变换器风格块结合，创建一个分层、多尺度的骨干，在 ImageNet 和 COCO 上的 FLOPs 更低的情况下超过同类 CNN 和 ViT 模型。

ABSTRACT

Vision transformers have been successfully applied to image recognition tasks due to their ability to capture long-range dependencies within an image. However, there are still gaps in both performance and computational cost between transformers and existing convolutional neural networks (CNNs). In this paper, we aim to address this issue and develop a network that can outperform not only the canonical transformers, but also the high-performance convolutional models. We propose a new transformer based hybrid network by taking advantage of transformers to capture long-range dependencies, and of CNNs to model local features. Furthermore, we scale it to obtain a family of models, called CMTs, obtaining much better accuracy and efficiency than previous convolution and transformer based models. In particular, our CMT-S achieves 83.5% top-1 accuracy on ImageNet, while being 14x and 2x smaller on FLOPs than the existing DeiT and EfficientNet, respectively. The proposed CMT-S also generalizes well on CIFAR10 (99.2%), CIFAR100 (91.7%), Flowers (98.7%), and other challenging vision datasets such as COCO (44.3% mAP), with considerably less computational cost.

研究动机与目标

• 激发并解决卷积神经网络（CNN）与视觉变换器（Vision Transformer, ViT）在性能-成本方面的差距。
• 提出一种混合架构，利用 CNN 进行局部特征提取，使用变换器处理远程依赖。
• 设计一套可扩展的 CMT 模型族，具备分阶段结构和面向效率的模块。

提出的方法

• 在 CMT 块之前引入卷积干线以提取细粒度特征。
• 开发包含局部感知单元（LPU）、轻量级多头自注意力（LMHSA）和倒置残余前馈网络（IRFFN）的 CMT 块。
• 使用深度卷积和带有空间降维的轻量级注意力以降低计算量。
• 应用分阶段架构以生成适用于密集任务的多尺度特征图。
• 采用复合缩放策略生成模型变体（CMT-Ti、XS、S、B 等）。
• 在分类中将 ViT 的类别标记替换为全局平均池化。

实验结果

研究问题

• RQ1 带 CNN 加成的变换器骨干是否能在 ImageNet 和 COCO 上在准确性与效率方面超过纯 CNN 与纯变换器模型？
• RQ2 混合 CMT 块中局部信息和全局信息如何协同作用以提升表征学习？
• RQ3 分阶段设计和所提出的缩放策略对性能与 FLOPs 的影响是什么？
• RQ4 CMT 骨干对目标检测与实例分割任务是否具有良好的迁移性？

主要发现

• CMT-S 在 ImageNet 上以 4.0B FLOPs 实现 83.5% 的 Top-1 准确度，超过 DeiT-S 和 CPVT，同时使用的计算量低于 EfficientNet-B4。
• CMT 变体在不同数据集（CIFAR-10/100、Flowers、COCO）显示出强劲的性能，具有有利的准确率/ FLOPs 权衡。
• 分阶段架构和 LMHSA 在相比单尺度 ViT 骨干时降低计算量，同时维持或提高准确率。
• 在 CMT 块中使用卷积干线、LPU、IRFFN 和短路连接可显著提升准确率（消融实验中增益约 +0.9% 到 +1.1%）。
• 在 COCO 上，CMT-S 使用 RetinaNet 达到 44.3% mAP，在相近 FLOPs 的情况下超过若干 CNN/ViT 基骨干。
• 迁移学习实验表明在 ImageNet 预训练后，在 CIFAR 和细粒度数据集上具有竞争力的表现。