[论文解读] MobileViTv3: Mobile-Friendly Vision Transformer with Simple and Effective Fusion of Local, Global and Input Features

Shakti N. Wadekar, Abhishek Chaurasia|arXiv (Cornell University)|Sep 30, 2022

Advanced Neural Network Applications被引用 86

一句话总结

MobileViTv3 重新引入并简化 MobileViT 中的融合块，以融合局部、全局和输入特征，使移动端可扩展、高效的视觉变换器在 ImageNet-1K、ADE20K、COCO 与 Pascal VOC 上的准确率得到提升。

ABSTRACT

MobileViT (MobileViTv1) combines convolutional neural networks (CNNs) and vision transformers (ViTs) to create light-weight models for mobile vision tasks. Though the main MobileViTv1-block helps to achieve competitive state-of-the-art results, the fusion block inside MobileViTv1-block, creates scaling challenges and has a complex learning task. We propose changes to the fusion block that are simple and effective to create MobileViTv3-block, which addresses the scaling and simplifies the learning task. Our proposed MobileViTv3-block used to create MobileViTv3-XXS, XS and S models outperform MobileViTv1 on ImageNet-1k, ADE20K, COCO and PascalVOC2012 datasets. On ImageNet-1K, MobileViTv3-XXS and MobileViTv3-XS surpasses MobileViTv1-XXS and MobileViTv1-XS by 2% and 1.9% respectively. Recently published MobileViTv2 architecture removes fusion block and uses linear complexity transformers to perform better than MobileViTv1. We add our proposed fusion block to MobileViTv2 to create MobileViTv3-0.5, 0.75 and 1.0 models. These new models give better accuracy numbers on ImageNet-1k, ADE20K, COCO and PascalVOC2012 datasets as compared to MobileViTv2. MobileViTv3-0.5 and MobileViTv3-0.75 outperforms MobileViTv2-0.5 and MobileViTv2-0.75 by 2.1% and 1.0% respectively on ImageNet-1K dataset. For segmentation task, MobileViTv3-1.0 achieves 2.07% and 1.1% better mIOU compared to MobileViTv2-1.0 on ADE20K dataset and PascalVOC2012 dataset respectively. Our code and the trained models are available at: https://github.com/micronDLA/MobileViTv3

研究动机与目标

• 为移动/边缘设备的高效视觉模型提供动机，平衡准确性与资源使用。
• 改进 MobileViT 块中的融合机制，以实现参数和计算量较低的可扩展架构。
• 证明向 MobileViTv2 添加一个轻量级融合块可在分类、分割和检测任务上实现更优性能。

提出的方法

• 在 MobileViT 融合块中用 1x1 卷积替换 3x3 融合卷积，以将融合与空间上下文解耦。
• 在融合阶段通过连接局部和全局表示来实现融合，而不是融合输入和全局特征。
• 在输出最终 MobileViT 块输出之前，将输入特征作为残差连接并加入到融合块输出。
• 用深度卷积替换局部表示块中的 3x3 卷积（深度卷积 3x3）以减少参数。
• 通过扩大通道数来放宽（增加通道）以创建 MobileViTv3-S、XS、XXS 模型，同时保持类似的 FLOPs。

实验结果

研究问题

• RQ1 是否可以重新设计 MobileViT 融合块，以在移动硬件上降低参数增长的同时保持或提高准确率？
• RQ2 将局部和全局特征进行融合（而不是输入和全局特征）再加上残差输入的添加，是否能改善学习与性能？
• RQ3 在为不同部署预算而扩展 MobileViTv3 块时，参数量、FLOPs、准确率和潜在延迟之间有哪些权衡？

主要发现

• MobileViTv3-XXS 和 MobileViTv3-XS 在 ImageNet-1K 上分别超越 MobileViTv1-XXS 与 MobileViTv1-XS，提升 2.0% 和 1.9%，参数/FLOPs 相近。
• MobileViTv3-0.5 和 MobileViTv3-0.75 分别在 ImageNet-1K 上超过 MobileViTv2-0.5 与 MobileViTv2-0.75，分别提升 2.1% 和 1.0%。
• 在分割方面，MobileViTv3-1.0 在 ADE20K 上的 mIOU 提升 +2.07%，在 Pascal VOC 2012 上提升 +1.1%，相较于 MobileViTv2-1.0。
• 在检测（COCO）方面，MobileViTv3-XS 和 MobileViTv3-1.0 分别在 mAP 上超过 MobileViTv1-XS 和 MobileViTv2-1.0，提升 +0.8% 和 +0.5%。
• 通过在 layer4 减少块数来展示延迟和吞吐量的提升；例如 MobileViTv3-XXS 采用两个块时，延迟约 6.24 ms，而 MobileViTv1-XXS 在相近准确度和参数下约 7.24 ms。