[논문 리뷰] MobileViTv3: Mobile-Friendly Vision Transformer with Simple and Effective Fusion of Local, Global and Input Features

Shakti N. Wadekar, Abhishek Chaurasia|arXiv (Cornell University)|2022. 09. 30.

Advanced Neural Network Applications인용 수 86

한 줄 요약

MobileViTv3는 MobileViT의 융합 블록을 재도입하고 단순화하여 로컬, 글로벌 및 입력 특징을 융합하고, 확장 가능하고 효율적이며 모바일 친화적인 비전 트랜스포머를 가능하게 하여 ImageNet-1K, ADE20K, COCO, Pascal VOC에서 정확도를 향상시킵니다.

ABSTRACT

MobileViT (MobileViTv1) combines convolutional neural networks (CNNs) and vision transformers (ViTs) to create light-weight models for mobile vision tasks. Though the main MobileViTv1-block helps to achieve competitive state-of-the-art results, the fusion block inside MobileViTv1-block, creates scaling challenges and has a complex learning task. We propose changes to the fusion block that are simple and effective to create MobileViTv3-block, which addresses the scaling and simplifies the learning task. Our proposed MobileViTv3-block used to create MobileViTv3-XXS, XS and S models outperform MobileViTv1 on ImageNet-1k, ADE20K, COCO and PascalVOC2012 datasets. On ImageNet-1K, MobileViTv3-XXS and MobileViTv3-XS surpasses MobileViTv1-XXS and MobileViTv1-XS by 2% and 1.9% respectively. Recently published MobileViTv2 architecture removes fusion block and uses linear complexity transformers to perform better than MobileViTv1. We add our proposed fusion block to MobileViTv2 to create MobileViTv3-0.5, 0.75 and 1.0 models. These new models give better accuracy numbers on ImageNet-1k, ADE20K, COCO and PascalVOC2012 datasets as compared to MobileViTv2. MobileViTv3-0.5 and MobileViTv3-0.75 outperforms MobileViTv2-0.5 and MobileViTv2-0.75 by 2.1% and 1.0% respectively on ImageNet-1K dataset. For segmentation task, MobileViTv3-1.0 achieves 2.07% and 1.1% better mIOU compared to MobileViTv2-1.0 on ADE20K dataset and PascalVOC2012 dataset respectively. Our code and the trained models are available at: https://github.com/micronDLA/MobileViTv3

연구 동기 및 목표

• 모바일/에지 디바이스에서 정확도와 자원 사용 사이의 균형을 이루는 효율적인 비전 모델을 고무한다.
• 매개변수 및 컴퓨트 카운트가 낮은 확장 가능한 아키텍처를 가능하게 하기 위해 MobileViT 블록의 융합 메커니즘을 개선한다.
• MobileViTv2에 경량 융합 블록을 추가하면 분류, 분할, 탐지 작업에서 우수한 성능을 낸다는 것을 보여준다.

제안 방법

• MobileViT 융합 블록에서 3x3 융합 컨볼루션을 1x1 컨볼루션으로 바꿔 융합을 공간 맥락에서 분리한다.
• 입력과 글로벌 특징을 융합하는 대신 융합 단계에서 로컬 및 글로벌 표현을 연결(concatenate)하여 융합한다.
• 최종 MobileViT 블록 출력을 만들기 전에 잔차 연결으로 입력 특징을 융합 블록 출력에 더한다.
• 로컬 표현 블록의 3x3 컨볼루션을 깊이별(depthwise) 3x3 컨볼루션으로 교체하여 매개변수를 줄인다.
• 채널을 확장하여 FLOPs를 비슷하게 유지하며 MobileViTv3-S, XS, XXS 모델로 확장한다.

실험 결과

연구 질문

• RQ1 MobileViT 융합 블록을 재설계하여 모바일 하드웨어에서 매개변수 증가를 줄이면서 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 입력과 글로벌 특징 대신 로컬 및 글로벌 특징을 융합하고 잔차 입력 추가를 더하는 것이 학습 및 성능을 향상시키는가?
• RQ3 다양한 배포 예산에 대해 MobileViTv3 블록을 확장할 때 매개변수 수, FLOPs, 정확도 및 지연(latency) 간의 트레이드오프는 무엇인가?

주요 결과

• MobileViTv3-XXS 및 MobileViTv3-XS가 ImageNet-1K에서 MobileViTv1-XXS 및 MobileViTv1-XS를 매개변수/연산은 유사한 수준에서 2.0% 및 1.9% 향상시켰다.
• MobileViTv3-0.5 및 MobileViTv3-0.75가 ImageNet-1K에서 각각 MobileViTv2-0.5 및 MobileViTv2-0.75보다 2.1% 및 1.0%의 성능 차이를 보인다.
• 분할(segmentation)에서 MobileViTv3-1.0은 ADE20K에서 +2.07% mIOU, Pascal VOC 2012에서 +1.1%를 MobileViTv2-1.0보다 달성한다.
• 탐지(detection, COCO)에서 MobileViTv3-XS 및 MobileViTv3-1.0은 각각 MobileViTv1-XS 및 MobileViTv2-1.0보다 mAP가 +0.8% 및 +0.5% 향상된다.
• layer4의 블록 수를 줄여 지연(latency) 및 처리량(throughput)을 개선한 예가 있으며, 예를 들어 유사한 정확도 및 매개변수에서 MobileViTv3-XXS는 두 블록을 사용한 경우 약 6.24 ms의 지연으로 MobileViTv1-XXS의 약 7.24 ms 대비 개선된다.