[논문 리뷰] RepQ-ViT: Scale Reparameterization for Post-Training Quantization of Vision Transformers

Zhikai Li, Junrui Xiao외 2명|arXiv (Cornell University)|2022. 12. 16.

CCD and CMOS Imaging Sensors인용 수 4

한 줄 요약

RepQ-ViT는 시각 트랜스포머를 위한 새로운 후학습 양자화 프레임워크를 제안하며, 스케일 재파rameterization을 통해 양자화 정확도를 하드웨어 효율성과 분리한다. 초기에 채널별로 양자화를 적용하고, 후에 LayerNorm 이후 활성화에 대해 채널별로, Softmax 이후 활성화에 대해 log√2로 양자화한 후, 스케일을 하드웨어 우아한 계층별 및 log2 양자화로 재파arameterization함으로써, 재구성 또는 하이퍼파라미터 튜닝 없이도 상태최저 수준의 4비트 정확도(예: DeiT-S에서 69.03% Top-1)를 달성한다.

ABSTRACT

Post-training quantization (PTQ), which only requires a tiny dataset for calibration without end-to-end retraining, is a light and practical model compression technique. Recently, several PTQ schemes for vision transformers (ViTs) have been presented; unfortunately, they typically suffer from non-trivial accuracy degradation, especially in low-bit cases. In this paper, we propose RepQ-ViT, a novel PTQ framework for ViTs based on quantization scale reparameterization, to address the above issues. RepQ-ViT decouples the quantization and inference processes, where the former employs complex quantizers and the latter employs scale-reparameterized simplified quantizers. This ensures both accurate quantization and efficient inference, which distinguishes it from existing approaches that sacrifice quantization performance to meet the target hardware. More specifically, we focus on two components with extreme distributions: post-LayerNorm activations with severe inter-channel variation and post-Softmax activations with power-law features, and initially apply channel-wise quantization and log$\sqrt{2}$ quantization, respectively. Then, we reparameterize the scales to hardware-friendly layer-wise quantization and log2 quantization for inference, with only slight accuracy or computational costs. Extensive experiments are conducted on multiple vision tasks with different model variants, proving that RepQ-ViT, without hyperparameters and expensive reconstruction procedures, can outperform existing strong baselines and encouragingly improve the accuracy of 4-bit PTQ of ViTs to a usable level. Code is available at https://github.com/zkkli/RepQ-ViT.

연구 동기 및 목표

• 시각 트랜스포머의 저비트 후학습 양자화에서 심각한 정확도 저하 문제, 특히 4비트 설정에서 해결하기 위해.
• 기존 ViT용 PTQ 방법에서 양자화 정확도와 하드웨어 효율성 간의 상충관계를 극복하기 위해.
• 스케일 재파arameterization을 통해 양자화 과정(정확도를 위해)과 추론(효율성 위해)을 분리하기 위해.
• 명시적 스케일 변환을 통해 성능 손실 없이 하드웨어 우아한 추론을 가능하게 하기 위해.
• 최소한의 校정 데이터와 재학습 없이도 ViT의 4비트 PTQ에서 최고 성능을 달성하기 위해.

제안 방법

• RepQ-ViT는 校정 중에는 복잡한 양자화기를 사용하고, 추론 중에는 단순화된 하드웨어 우아한 양자화기를 사용하여 양자화와 추론을 분리한다.
• 채널 간 변동성이 높은 LayerNorm 이후 활성화에 대해서는, 초기에 채널별 양자화를 적용한 후, LayerNorm의 아핀 인자 조정과 이후 계층 가중치 조정을 통해 계층별 양자화로 재파arameterization한다.
• 파워법 분포를 보이는 Softmax 이후 활성화에 대해서는, 극단치를 더 잘 포착하기 위해 초기에 log√2 양자화를 적용하고, 이후 효율적인 비트 시프트 추론을 위해 log2 양자화로 재파arameterization한다.
• 등가 변환을 통해 스케일 재파arameterization을 달성함으로써 정확도를 유지하면서도 효율적인 하드웨어 계산을 가능하게 한다.
• 단지 32개의 校정 샘플만 필요하며, 비용이 많이 드는 재구성 또는 하이퍼파라미터 튜닝을 피한다.
• 이 프레임워크는 이론적으로 탄탄하며, 정확도나 계산 오버헤드가 약간 증가하는 것 외에는 매우 높은 강건성을 유지한다.

실험 결과

연구 질문

• RQ1 후학습 양자화에서 시각 트랜스포머의 정확도와 하드웨어 효율성을 분리할 수 있는가?
• RQ2 정확도 손실이 크지 않은 범위에서 복잡한 양자화기를 하드웨어 우아한 형태로 효과적으로 재파arameterization할 수 있는가?
• RQ3 스케일 재파arameterization은 기존 방법에 비해 4비트 PTQ 성능을 향상시키는가?
• RQ4 log√2 양자화는 log2 양자화보다 파워법 분포를 가진 어텐션 스코어를 더 잘 표현하는가?
• RQ5 제안된 방법은 최소한의 校정 데이터와 재학습 없이도 최고 성능을 달성할 수 있는가?

주요 결과

• RepQ-ViT는 DeiT-S에서 4비트 가중치 및 활성화로 69.03%의 Top-1 정확도를 달성하여, FQ-ViT(0.10%) 및 PTQ4ViT(34.08%)와 같은 기존 방법을 크게 앞서간다.
• Swin-S에서 RepQ-ViT는 4비트 PTQ로 79.45%의 Top-1 정확도를 기록하며, 강력한 베이스라인인 PTQ4ViT(76.09%)를 초월한다.
• 이 방법은 단지 32개의 校정 샘플만 필요로 하여, PTQ4ViT(32개 샘플)와 비교해도 요구 데이터를 줄이고, FQ-ViT(1000개 샘플)보다도 더 높은 정확도를 달성한다.
• log2 양자화로의 재파arameterization을 통해 추론 효율성이 유지되며, 비트 시프트 연산이 가능하고 계산 오버헤드가 약간 증가할 뿐이다.
• 스케일 재파arameterization 과정에서 채널별 양자화 대비 정확도 저하가 단지 1.25%에 불과하지만, 하드웨어 우아한 계층별 양자화를 가능하게 한다.
• 이 방법은 강건하고 일반화 능력이 뛰어나, 하이퍼파라미터 튜닝이나 재구성 없이도 여러 종류의 ViT 아키텍처와 비전 작업에서 일관된 향상을 보인다.