[논문 리뷰] Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenarios

Jiashi Li, Xin Xia외 7명|arXiv (Cornell University)|2022. 07. 12.

Advanced Neural Network Applications인용 수 138

한 줄 요약

Next-ViT는 Next Convolution Block (NCB)과 Next Transformer Block (NTB), 그리고 Next Hybrid Strategy (NHS)를 도입하여 CNN에 버금가는 지연(latency)을 유지하고 ViT 수준의 정확도를 달성하며, TensorRT 및 CoreML과 같은 산업 배포 플랫폼에서 기존 모델을 능가합니다.

ABSTRACT

Due to the complex attention mechanisms and model design, most existing vision Transformers (ViTs) can not perform as efficiently as convolutional neural networks (CNNs) in realistic industrial deployment scenarios, e.g. TensorRT and CoreML. This poses a distinct challenge: Can a visual neural network be designed to infer as fast as CNNs and perform as powerful as ViTs? Recent works have tried to design CNN-Transformer hybrid architectures to address this issue, yet the overall performance of these works is far away from satisfactory. To end these, we propose a next generation vision Transformer for efficient deployment in realistic industrial scenarios, namely Next-ViT, which dominates both CNNs and ViTs from the perspective of latency/accuracy trade-off. In this work, the Next Convolution Block (NCB) and Next Transformer Block (NTB) are respectively developed to capture local and global information with deployment-friendly mechanisms. Then, Next Hybrid Strategy (NHS) is designed to stack NCB and NTB in an efficient hybrid paradigm, which boosts performance in various downstream tasks. Extensive experiments show that Next-ViT significantly outperforms existing CNNs, ViTs and CNN-Transformer hybrid architectures with respect to the latency/accuracy trade-off across various vision tasks. On TensorRT, Next-ViT surpasses ResNet by 5.5 mAP (from 40.4 to 45.9) on COCO detection and 7.7% mIoU (from 38.8% to 46.5%) on ADE20K segmentation under similar latency. Meanwhile, it achieves comparable performance with CSWin, while the inference speed is accelerated by 3.6x. On CoreML, Next-ViT surpasses EfficientFormer by 4.6 mAP (from 42.6 to 47.2) on COCO detection and 3.5% mIoU (from 45.1% to 48.6%) on ADE20K segmentation under similar latency. Our code and models are made public at: https://github.com/bytedance/Next-ViT

연구 동기 및 목표

• 산업 시나리오(TensorRT/CoreML)에서 빠르고 배포 친화적인 비전 트랜스포머의 필요성을 제시한다.
• 로컬 정보(NCB)와 글로벌 정보(NTB)를 효율적으로 결합하는 블록을 설계한다.
• 스테이지 간 트랜스포머와 합성 블록의 균형을 맞추기 위한 하이브리드 스태킹 전략(NHS)을 제안한다.
• 다운스트림 작업에서 CNN, ViT, CNN-트랜스포머 하이브리드 대비 지연/정확도 트레이드오프를 개선한다.

제안 방법

• 배포 친화적 토큰 혼합기(mixed token)로 Multi-Head Convolutional Attention(MHCA)를 갖춘 Next-Convolution Block(NCB)을 개발한다.
• Efficient Multi-Head Self Attention(E-MHSA) 및 MHCA 융합을 통해 다주파수 신호를 포착하는 Next Transformer Block(NTB)을 개발한다.
• 고정된 지연 하에서 성능을 향상시키기 위해 스테이지마다 구성(configurations)으로 (NCB×N + NTB×1)로 NCB와 NTB를 쌓고, 추가 반복(×L)으로 구성하는 Next Hybrid Strategy(NHS)을 도입한다.
• TensorRT/CoreML과 같은 하드웨어에서 추론 속도를 가속화하기 위해 LayerNorm/GELU 대신 BatchNorm과 ReLU를 사용한다.
• 특정 스테이지 구성 및 채널 설정과 함께 세 가지 Next-ViT 변형(S/B/L)을 제공한다(표 3).
• 하드웨어 인식 지연 측정(TensorRT/CoreML)하에서 ImageNet-1K 분류 및 하드웨어 의존 지연 대비 COCO 검출, ADE20K 분할 등의 다운스트림 작업을 평가한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머를 CNN처럼 빠르게 추론하면서도 현실적 산업 배포에서 ViT 수준의 정확도를 유지하도록 설계할 수 있는가?
• RQ2 배포 친화적 블록(NCB, NTB)과 하이브리드 전략(NHS)이 분류, 검출 및 분할 작업에서 지연/정확도 트레이드오프를 개선하는가?
• RQ3 TensorRT/CoreML 제약 하에서 다양한 스테이지의 NCB 대 NTB 스태킹 패턴이 처리량과 작업 성능에 어떤 영향을 미치는가?

주요 결과

• Next-ViT는 비교 대상 모델 중 ImageNet-1K 분류에서 가장 우수한 지연/정확도 트레이드오프를 달성한다.
• TensorRT에서 Next-ViT는 COCO 검출에서 ResNet보다 5.5 mAP(40.4에서 45.9로), ADE20K 분할에서 7.7% mIoU(38.8%에서 46.5%로)와 유사한 지연에서 능가한다.
• Next-ViT는 CSWin과 비슷한 성능을 달성하면서 추론 속도가 3.6배 빨라진다.
• CoreML에서 Next-ViT는 COCO 검출에서 EfficientFormer보다 4.6 mAP(42.6에서 47.2로), ADE20K 분할에서 3.5% mIoU(45.1%에서 48.6%로) 향상된 지연에서 능가한다.
• Next-ViT-S/B/L 변형에 대해 하드웨어 인식 지연 측정(TensorRT/CoreML)이 demonstrated된다.