[논문 리뷰] MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer

Sachin Mehta, Mohammad Rastegari|arXiv (Cornell University)|2021. 10. 05.

Advanced Neural Network Applications인용 수 727

한 줄 요약

모바일ViT는 CNN 유사 로컬 유도 편향과 Transformer 기반 글로벌 처리를 결합하여, 비슷한 파라미터 수에서 비교 가능한 CNN과 ViT를 능가하는 경량의 모바일 친화적 비전 트랜스포머를 만들어냅니다. 간단한 학습 레시피로 ImageNet, 탐지 및 분할 성능을 제공합니다.

ABSTRACT

Light-weight convolutional neural networks (CNNs) are the de-facto for mobile vision tasks. Their spatial inductive biases allow them to learn representations with fewer parameters across different vision tasks. However, these networks are spatially local. To learn global representations, self-attention-based vision trans-formers (ViTs) have been adopted. Unlike CNNs, ViTs are heavy-weight. In this paper, we ask the following question: is it possible to combine the strengths of CNNs and ViTs to build a light-weight and low latency network for mobile vision tasks? Towards this end, we introduce MobileViT, a light-weight and general-purpose vision transformer for mobile devices. MobileViT presents a different perspective for the global processing of information with transformers, i.e., transformers as convolutions. Our results show that MobileViT significantly outperforms CNN- and ViT-based networks across different tasks and datasets. On the ImageNet-1k dataset, MobileViT achieves top-1 accuracy of 78.4% with about 6 million parameters, which is 3.2% and 6.2% more accurate than MobileNetv3 (CNN-based) and DeIT (ViT-based) for a similar number of parameters. On the MS-COCO object detection task, MobileViT is 5.7% more accurate than MobileNetv3 for a similar number of parameters. Our source code is open-source and available at: https://github.com/apple/ml-cvnets

연구 동기 및 목표

• CNN 유도 편향과 글로벌 처리를 혼합한 경량, 모바일에 적합한 비전 트랜스포머의 필요성에 대한 동기 부여.
• 로컬 합성곱 처리와 패치 수준 트랜스포머 주의를 결합하는 MobileViT 블록 제안.
• MobileViT가 분류, 탐지 및 분할 작업 전반에 걸쳐 더 적은 파라미터와 간단한 학습 레시피로 경쟁력 있는 정확도를 제공한다는 점을 증명.

제안 방법

• 로컬 처리를 위한 n×n 합성곱을 적용하고 차원 d로의 1×1 투영을 통해 X를 패치로 펼친 뒤, 각 패치 시퀀스에 트랜스포머를 적용하여 패치 간 관계를 모델링하고 다시 고해상도 특징으로 접습니다.
• 변환된 특징을 원본과 연결(concatenation)하고 후속 융합 합성곱을 통해 출력을 얻습니다.
• 축소 모듈로 스트라이드 3×3 스템, 다운샘플링용 MV2 블록, Swish 활성화함으로써 세 가지 네트워크 크기(S, XS, XXS)로 MobileViT를 훈련하며 기본 증강과 AdamW 옵티마이저를 사용합니다.
• 훈련 중 다중 스케일 샘플러를 활용하여 입력 해상도와 배치 크기를 다양하게 하여 효율성과 일반화를 개선합니다.
• 표준 평가 지표를 가진 ImageNet-1k, MS-COCO(SDD/SSDLite), PASCAL VOC 2012에서 경량 CNN, ViT 변형, 무거운 CNN과 비교합니다.

실험 결과

연구 질문

• RQ1 로컬 합성곱과 글로벌 트랜스포머 처리를 결합하여 CNN 유사한 성능을 달성하는 경량, 모바일 친화적 ViT 모델이 가능합니까?
• RQ2 MobileViT가 순수 ViT 변형과 유사한 파라미터 예산에서 더 나은 일반화 및 학습 강건성을 제공합니까?
• RQ3 MobileViT가 모바일 플랫폼에서 분류, 탐지 및 분할 작업의 일반 목적 백본으로 작용할 수 있습니까?
• RQ4 멀티스케일 학습 및 패치 크기 선택이 모바일 장치의 정확도와 지연에 미치는 영향은 무엇입니까?

주요 결과

• ImageNet-1k에서 MobileViT-S는 파라미터 5.6M로 상위 1% 78.4%를 달성하며 유사 예산에서 MobileNetv3 및 DeIT를 능가합니다.
• MobileViT-XS(약 2.3M 파라미터)는 74.8% 상위 1%를 달성하며 XXS/XS/S 변형은 경량 CNN과 비교했을 때 파라다미터-정확도 트레이드오프가 유리합니다.
• MS-COCO 객체 탐지에서 MobileViT-XS/S 백본은 MobileNetv3 대비 최대 약 1.8%의 mAP 향상을 보여주며 더 작은 모델에서 성능이 향상됩니다.
• DeepLabv3를 사용한 의미론적 분할에서 MobileViT 백본은 ResNet-101 기반 백본보다 상당히 적은 파라미터로 77.1% mIoU(MobileViT-XS)와 79.1%(MobileViT-S)를 제공합니다.
• MobileViT 백본은 일반화 및 학습 강건성을 개선하며, 간단한 증강 및 기타 ViT 변형에 비해 L2 정규화에 대한 민감도가 낮습니다.
• 모바일 기기에서 MobileViT는 실시간 추론을 달성하고 하드웨어 및 커널 최적화를 고려할 때 일반적인 ViT 백본보다 빠른 경우가 많습니다.