[论文解读] MoCoViT: Mobile Convolutional Vision Transformer

Hailong Ma, Xin Xia+4 more|arXiv (Cornell University)|May 25, 2022

Visual Attention and Saliency Detection被引用 14

一句话总结

MoCoViT 提出了一种轻量级的移动卷积视觉Transformer，将适合移动设备的卷积神经网络与专为高效设备端视觉任务设计的Transformer模块相结合。通过采用移动自注意力（MoSA）和移动前馈网络（MoFFN），其在147M FLOPs的计算量下实现了74.5%的ImageNet top-1准确率，优于MobileNetV3且计算量更低，并在COCO目标检测任务上比GhostNet提升2.1 AP。

ABSTRACT

Recently, Transformer networks have achieved impressive results on a variety of vision tasks. However, most of them are computationally expensive and not suitable for real-world mobile applications. In this work, we present Mobile Convolutional Vision Transformer (MoCoViT), which improves in performance and efficiency by introducing transformer into mobile convolutional networks to leverage the benefits of both architectures. Different from recent works on vision transformer, the mobile transformer block in MoCoViT is carefully designed for mobile devices and is very lightweight, accomplished through two primary modifications: the Mobile Self-Attention (MoSA) module and the Mobile Feed Forward Network (MoFFN). MoSA simplifies the calculation of the attention map through Branch Sharing scheme while MoFFN serves as a mobile version of MLP in the transformer, further reducing the computation by a large margin. Comprehensive experiments verify that our proposed MoCoViT family outperform state-of-the-art portable CNNs and transformer neural architectures on various vision tasks. On ImageNet classification, it achieves 74.5% top-1 accuracy at 147M FLOPs, gaining 1.2% over MobileNetV3 with less computations. And on the COCO object detection task, MoCoViT outperforms GhostNet by 2.1 AP in RetinaNet framework.

研究动机与目标

• 设计一种专为移动设备优化、计算成本低的视觉Transformer架构。
• 在真实移动应用场景中，提升现有轻量级CNN和视觉Transformer的准确率与效率。
• 在轻量级、以移动为先的框架中整合卷积网络与Transformer的优势。
• 在不损失性能的前提下，减少注意力与前馈组件的FLOPs。

提出的方法

• 提出移动自注意力（MoSA）模块，通过分支共享机制简化注意力图的计算。
• 提出移动前馈网络（MoFFN），一种轻量级MLP变体，可降低前馈路径的计算量。
• 将MoSA与MoFFN集成到面向移动设备优化的Transformer模块中，用于混合卷积-Transformer架构。
• 采用混合主干网络，结合移动卷积与轻量级Transformer模块，平衡归纳偏置与长距离建模能力。
• 在ImageNet上训练MoCoViT系列模型，并在COCO检测数据集上进行微调，使用标准基准进行对比。

实验结果

研究问题

• RQ1 能否在不损失准确率的前提下，使视觉Transformer足够高效以支持移动部署？
• RQ2 如何在保持性能的同时，简化移动硬件上的自注意力与前馈组件？
• RQ3 混合移动卷积与Transformer的架构能否在ImageNet和COCO上超越当前最先进的轻量级模型？
• RQ4 在移动网络中集成Transformer模块时，FLOPs与准确率之间的权衡关系如何？

主要发现

• MoCoViT在仅147M FLOPs的计算量下，ImageNet top-1准确率达到74.5%，相比MobileNetV3提升1.2%，且计算量更低。
• 在使用RetinaNet的COCO目标检测任务中，MoCoViT相比GhostNet提升2.1点AP。
• 移动自注意力（MoSA）模块通过共享分支机制显著减少注意力计算，且准确率下降不明显。
• 移动前馈网络（MoFFN）相比标准前馈层，在MLP路径上显著降低了FLOPs。
• MoCoViT系列在多个视觉基准上均优于当前最先进的轻量级CNN与视觉Transformer模型。