[논문 리뷰] Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization

Zhengang Li, Mengshu Sun외 10명|arXiv (Cornell University)|2022. 08. 10.

CCD and CMOS Imaging Sensors인용 수 6

한 줄 요약

이 논문은 혼합형 양자화(정수점 및 2의 거듭제곱)를 사용하여 FPGA 기반으로 비전 트랜스포머를 가속화하기 위한 FPGA 인지 자동화 프레임워크인 Auto-ViT-Acc를 제안한다. FPGA 자원 모델링을 통해 비트 폭과 양자화 방식 비율을 함께 최적화함으로써, DeiT-Base에서 32비트 기준 대비 5.6배 높은 프레임 레이트(56.8 FPS)를 달성하면서 정확도 손실은 0.71%에 그치며, 이는 이전의 양자화 방법들보다 정확도와 처리량 면에서 뛰어난 성능을 보인다.

ABSTRACT

Vision transformers (ViTs) are emerging with significantly improved accuracy in computer vision tasks. However, their complex architecture and enormous computation/storage demand impose urgent needs for new hardware accelerator design methodology. This work proposes an FPGA-aware automatic ViT acceleration framework based on the proposed mixed-scheme quantization. To the best of our knowledge, this is the first FPGA-based ViT acceleration framework exploring model quantization. Compared with state-of-the-art ViT quantization work (algorithmic approach only without hardware acceleration), our quantization achieves 0.47% to 1.36% higher Top-1 accuracy under the same bit-width. Compared with the 32-bit floating-point baseline FPGA accelerator, our accelerator achieves around 5.6x improvement on the frame rate (i.e., 56.8 FPS vs. 10.0 FPS) with 0.71% accuracy drop on ImageNet dataset for DeiT-base.

연구 동기 및 목표

• 자원 제약이 있는 FPGA에 비전 트랜스포머를 효율적이고 정확도가 높게 구현하는 데 도전하는 것.
• 기존의 컨volutional 네트워크 양자화 기법(정수점, 2의 거듭제곱)이 비전 트랜스포머에 효과적으로 적용될 수 있는지와 이를 최적화하여 조합할 수 있는 방법을 탐구하는 것.
• 목표 성능를 달성하기 위해 양자화 파rameter와 하드웨어 자원 활용도를 함께 최적화하는 자동화된 FPGA 인지 워크플로우를 개발하는 것.
• 하드웨어 최적화를 고려한 새로운 FPGA 컴퓨팅 엔진을 설계하여 비전 트랜스포머의 멀티헤드 어텐션을 처리하는 것.
• 혼합형 양자화가 순수 정수점 또는 2의 거듭제곱 기반 양자화 방식보다 정확도와 처리량 면에서 FPGA에서 더 나은 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 프레임워크는 FPGA 자원 활용도 모델링을 사용하여 비트 폭과 정수점 및 2의 거듭제곱 양자화의 혼합 비율에 기반해 프레임 레이트(FPS)를 예측한다.
• 사용자가 정의한 목표 FPS를 충족시키기 위해 최적의 양자화 설정(비트 폭 및 2의 거듭제곱 비율)을 자동으로 탐색한다.
• 비전 트랜스포머 멀티헤드 어텐션을 위한 새로운 FPGA 컴퓨팅 엔진을 설계하였으며, 정수점 연산에는 DSP를, 시프트 기반 2의 거듭제곱 연산에는 LUT를 활용한다.
• 혼합형 양자화 기법을 적용: 가중치를 정수점과 2의 거듭제곱 성분으로 분할하고, 자원 활용도와 정확도를 극대화하기 위해 비율을 조정한다.
• 양자화, 하드웨어 모델링, 가속기 생성을 통합한 엔드 투 엔드 파이프라인을 목표 FPS 기반으로 운영한다.
• 전체 워크플로우는 자동화되어 있으며, 최적화된 양자화된 ViT 모델과 해당하는 FPGA 가속기 모두를 생성한다.

실험 결과

연구 질문

• RQ1 기존의 CNN 양자화 기법(정수점 및 2의 거듭제곱)이 FPGA 기반 비전 트랜스포머에 효과적으로 적용될 수 있는가?
• RQ2 정수점과 2의 거듭제곱을 혼합한 양자화 기법을 비전 트랜스포머의 추론에 대해 체계적으로 최적화하여 정확도와 처리량을 균형 있게 조절할 수 있는가?
• RQ3 목표 프레임 레이트를 달성하기 위해 정수점과 2의 거듭제곱 양자화 간의 비트 폭과 혼합 비율을 최적의 조합으로 설정할 수 있는가?
• RQ4 자동화된 FPGA 인지 프레임워크를 통해 비전 트랜스포머의 모델 양자화와 하드웨어 가속기 설계를 함께 최적화할 수 있는가?
• RQ5 비전 트랜스포머의 FPGA 기반 추론에서 혼합형 양자화가 순수 정수점 또는 2의 거듭제곱 양자화보다 정확도와 추론 속도 면에서 뛰어나게 성능을 낼 수 있는가?

주요 결과

• DeiT-small에서 프레임워크는 W4A4 + W3A4 혼합 양자화와 43%의 2의 거듭제곱 비율을 사용해 150 FPS에서 Top-1 정확도 77.94%를 달성하였으며, 이는 이전 연구의 W8A8 모델보다 정확도가 0.47% 높다.
• 100 FPS에서 프레임워크는 W8A8 + W4A8 양자화와 43%의 2의 거듭제곱 비율을 사용해 Top-1 정확도 78.74%를 달성하였으며, 이는 이전 연구 대비 1.27% 향상된 성능이다.
• DeiT-base에서는 W4A4 + W3A4 혼합 양자화와 40%의 2의 거듭제곱 비율을 사용해 55 FPS에서 Top-1 정확도 81.14%를 달성하였다.
• 33 FPS에서 DeiT-base는 W8A8 + W4A8 양자화와 45%의 2의 거듭제곱 비율을 사용해 Top-1 정확도 81.84%를 달성하였으며, 이는 더 낮은 비트 폭임에도 불구하고 이전 연구의 W8A8 모델보다 정확도가 0.66% 높다.
• 32비트 부동소수점 기반 기준 FPGA 가속기와 비교해, 제안된 가속기는 DeiT-base에서 5.6배 높은 프레임 레이트(56.8 FPS 대 10.0 FPS)를 달성하였고, 정확도 손실은 0.71%에 그쳤다.
• 양자화 없이도 ZCU102 FPGA에서의 구현은 DeiT-base에서 Jetson TX2 GPU보다 속도(10.0 FPS 대 7.87 FPS)와 전력 효율성(9.91W 대 12.28W) 면에서 뛰어나다.