[논문 리뷰] Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer

Yanjing Li, Sheng Xu외 4명|arXiv (Cornell University)|2022. 10. 13.

CCD and CMOS Imaging Sensors인용 수 31

한 줄 요약

Q-ViT는 정보 정정 모듈(IRM)과 분포 가이드 디스틸레이션(DGD)을 도입하여 완전 양자화된 저비트 비전 트랜스포머를 가능하게 하며, ImageNet에서 FP 대비 거의 같은 또는 더 나은 정확도와 상당한 속도 향상을 달성한다.

ABSTRACT

The large pre-trained vision transformers (ViTs) have demonstrated remarkable performance on various visual tasks, but suffer from expensive computational and memory cost problems when deployed on resource-constrained devices. Among the powerful compression approaches, quantization extremely reduces the computation and memory consumption by low-bit parameters and bit-wise operations. However, low-bit ViTs remain largely unexplored and usually suffer from a significant performance drop compared with the real-valued counterparts. In this work, through extensive empirical analysis, we first identify the bottleneck for severe performance drop comes from the information distortion of the low-bit quantized self-attention map. We then develop an information rectification module (IRM) and a distribution guided distillation (DGD) scheme for fully quantized vision transformers (Q-ViT) to effectively eliminate such distortion, leading to a fully quantized ViTs. We evaluate our methods on popular DeiT and Swin backbones. Extensive experimental results show that our method achieves a much better performance than the prior arts. For example, our Q-ViT can theoretically accelerates the ViT-S by 6.14x and achieves about 80.9% Top-1 accuracy, even surpassing the full-precision counterpart by 1.0% on ImageNet dataset. Our codes and models are attached on https://github.com/YanjingLi0202/Q-ViT

연구 동기 및 목표

• 완전 양자화된 ViT가 동일 정밀도 대비 큰 성능 저하를 왜 보이는지 식별한다.
• 양자화된 셀프 어텐션의 정보 왜곡을 보정하는 메커니즘을 개발한다(IRM).
• 양자화 및 FP 모델 간 분포를 정렬하는 디스틸레이션 스킴을 설계한다(DGD).
• IRM과 DGD를 가진 완전 양자화된 ViT가 기준 양자화 대비를 능가하고 ImageNet에서 FP 성능에 근접하거나 초과하는 것을 입증한다.
• DeiT 및 Swin 백본에서 2–4 비트 양자화 체계에 걸쳐 Q-ViT를 검증한다.]
• method=[
• 완전 양자화된 ViT의 병목 현상을 진단하고 양자화된 self-attention 맵에서 정보 왜곡을 정량화한다.
• 정보 내용을 회복하기 위해 양자화된 쿼리와 키의 엔트로피를 최대화하는 Information Rectification Module (IRM)을 도입한다.
• attention 기반 유사도 매트릭스와 패치 수준 의미론 디 스틸레이션을 통해 분포를 정렬하는 Distribution Guided Distillation (DGD)을 제안한다.
• 비대칭 활성화와 대칭 가중치를 사용하는 양자화 인식 학습(QAT) 프레임워크를 통해 ViT 구성요소를 양자화하고 역전파를 위한 스트레이트 스루 추정기를 사용한다.
• 교사-학생 디스틸레이션을 활용하여 교사가 양자화 및 FP 활성화에서 도출된 유사도 행렬을 통해 분포 지도를 제공한다.
• DeiT 및 Swin 백본에서 ImageNet에 대해 LSQ 및 baseline 완전 양자화 ViT 구성과 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 IRM이 저비트 양자화 ViT의 어텐션 맵 정보 내용을 FP 분포와 일치시키며 회복시킬 수 있는가?
• RQ2 양자화된 어텐션 표현에서 엔트로피를 최대화하는 것이 ViT의 순전파 성능을 향상시키는가?
• RQ3 Distribution Guided Distillation이 양자화 ViT와 FP ViT 간 역전파 분포 불일치를 효과적으로 줄일 수 있는가?
• RQ4 IRM과 DGD를 가진 완전 양자화 ViT가 ImageNet에서 FP ViT에 얼마나 근접하거나 초과할 수 있는가?
• RQ5 DeiT와 Swin 백본 및 2–4 비트 양자화 전반에 걸쳐 IRM과 DGD의 이점이 일관되는가?

주요 결과

• 완전 양자화된 ViT 기본 모델은 MHSA의 핵심 구성 요소를 양자화할 때 특히 성능 저하가 크게 나타난다.
• IRM은 어텐션 표현의 엔트로피를 증가시키고 완전 양자화된 기준에 비해 Top-1 정확도를 향상시킨다(예: 2–4 비트 체계에서 이득이 관측됨).
• DGD는 양자화된 활성화와 FP 활성화 간의 패치 기반 유사도 매트릭스를 통해 분포를 정렬함으로써 추가 이득을 제공한다.
• IRM과 DGD의 결합(Q-ViT)은 FP ViT에 대한 차이를 크게 줄이고, 일부 설정에서는 FP 성능을 능가한다(예: 4-비트 Q-ViT가 Swin-T에서 FP를 능가).
• Q-ViT는 DeiT와 Swin 백본에서 ImageNet 상에서 경쟁력 있는 정확도와 함께 FLOPs를 최대 ~21x까지 감소시키는 주목할 만한 성과를 보인다.