[논문 리뷰] VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference

Steve Dai, Rangharajan Venkatesan외 4명|arXiv (Cornell University)|2021. 02. 08.

Advanced Neural Network Applications참고 문헌 28인용 수 13

한 줄 요약

VS-Quant는 텐서 내 소형 벡터(16–64 요소)에 개별 스케일 팩터를 사용하는 개별 벡터 스케일링 양자화를 도입하여 양자화 오차를 감소시키고 저해상도 추론 정확도를 향상시킵니다. ResNet50에서 4-bit 가중치와 활성화를 사용할 경우 37%의 면적 절감과 24%의 에너지 절감을 달성하면서도 ImageNet 정확도 75% 이상을 유지하며, BERT 모델에서는 4-bit 가중치와 8-bit 활성화로도 거의 전정밀도 성능을 유지는 바탕으로 26%의 면적 절감을 이룹니다.

ABSTRACT

Quantization enables efficient acceleration of deep neural networks by reducing model memory footprint and exploiting low-cost integer math hardware units. Quantization maps floating-point weights and activations in a trained model to low-bitwidth integer values using scale factors. Excessive quantization, reducing precision too aggressively, results in accuracy degradation. When scale factors are shared at a coarse granularity across many dimensions of each tensor, effective precision of individual elements within the tensor are limited. To reduce quantization-related accuracy loss, we propose using a separate scale factor for each small vector of ($\approx$16-64) elements within a single dimension of a tensor. To achieve an efficient hardware implementation, the per-vector scale factors can be implemented with low-bitwidth integers when calibrated using a two-level quantization scheme. We find that per-vector scaling consistently achieves better inference accuracy at low precision compared to conventional scaling techniques for popular neural networks without requiring retraining. We also modify a deep learning accelerator hardware design to study the area and energy overheads of per-vector scaling support. Our evaluation demonstrates that per-vector scaled quantization with 4-bit weights and activations achieves 37% area saving and 24% energy saving while maintaining over 75% accuracy for ResNet50 on ImageNet. 4-bit weights and 8-bit activations achieve near-full-precision accuracy for both BERT-base and BERT-large on SQuAD while reducing area by 26% compared to an 8-bit baseline.

연구 동기 및 목표

• 저해상도 신경망 추론에서 발생하는 양자화 유도 정확도 손실을 줄이기 위해.
• 금지적인 오버헤드 없이 세밀한 스케일 팩터를 위한 효율적인 하드웨어 지원을 가능하게 하기 위해.
• 재학습이 필요 없이 ResNet50 및 BERT와 같은 모델의 사후 양자화 정확도를 향상시키기 위해.
• DNN 가속기 설계에서 개별 벡터 스케일링의 면적 및 에너지 트레이드오���을 평가하기 위해.
• 기존의 개별 채널 또는 개별 레이어 스케일링보다 개별 벡터 스케일링이 더 나은 정확도, 에너지, 면적 효율성을 달성할 수 있음을 입증하기 위해.

제안 방법

• 각 텐서 내 소형 벡터(16–64 요소)에 개별 스케일 팩터를 부여하는 개별 벡터 스케일링 양자화(VS-Quant)를 제안하며, 이는 각 벡터의 다이내믹 레인지 감소와 함께 양자화 오차 최소화를 가능하게 합니다.
• 거시적 및 미시적 스케일 팩터를 조합하는 이중 수준의 양자화 체계를 도입하여, 저비트폭 정수를 사용한 효율적인 하드웨어 매핑을 가능하게 합니다.
• 기존 하드웨어 유닛과 일치하는 벡터 승법-누적(MAC) 유닛에서 동적 개별 벡터 스케일링을 지원하도록 DNN 가속기를 수정하여 최소한의 오버헤드를 확보합니다.
• 재학습 없이도 정확도를 유지하기 위해 校정된 스케일 팩터를 사용하는 사후 양자화(PTQ)를 적용하며, 동시에 정확도 향상을 위한 양자화 인식 학습(QAT)도 지원합니다.
• QAT에서 스트레이트스러거 추정기(STE)를 사용하여 양자화기 통과로 기울기 역전파를 수행하며, 스케일 팩터는 학습되지 않고 校정 과정에서 결정됩니다.
• 수정된 가속기에서 면적 및 에너지 모델링을 통해 하드웨어 영향을 평가하며, 4-bit 및 8-bit 정밀도 설정을 비교 분석합니다.

실험 결과

연구 질문

• RQ1 저해상도 DNN 추론에서 개별 벡터 스케일링이 거시적 개별 레이어 또는 개별 채널 스케일링보다 더 효과적으로 양자화 오차를 감소시킬 수 있는가?
• RQ2 DNN 가속기에서 개별 벡터 스케일링을 지원할 경우 면적 및 에너지 오버헤드는 어느 정도인가?
• RQ3 다양한 모델(예: ResNet50 및 BERT)에서 사후 양자화 정확도에 개별 벡터 스케일링이 미치는 영향은 어떠한가?
• RQ4 기존의 양자화 기법보다 낮은 비트폭에서 개별 벡터 스케일링이 거의 전정밀도 성능을 달성할 수 있는가?
• RQ5 개별 벡터 스케일링을 사용할 경우 모델 크기, 정밀도, 하드웨어 효율성 간 최적의 트레이드오프는 무엇인가?

주요 결과

• VS-Quant를 사용한 4-bit 가중치와 8-bit 활성화는 BERT-base에서 거의 전정밀도 정확도(87.80%)를 달성하며, SQuAD에서 BERT-large는 90.59%의 정확도를 기록하여 8-bit 기준선을 초월합니다.
• ImageNet에서 ResNet50에 대해 VS-Quant를 사용한 4-bit 가중치와 활성화는 75% 이상의 top-1 정확도를 유지하며, 기존의 4-bit 양자화 기법보다 뚜렷이 뛰어난 성능을 보입니다.
• 개별 벡터 스케일링을 위한 하드웨어 확장은 기준 8-bit 구현 대비 37%의 면적 감소와 24%의 에너지 절감을 달성합니다.
• BERT 모델에서 4-bit 가중치와 8-bit 활성화로도 기준 8-bit 대비 26%의 면적 감소를 기록하였으며, 고정밀도 정확도를 유지합니다.
• 특히 3–4비트와 같은 낮은 비트폭에서 개별 벡터 스케일링은 개별 채널 스케일링보다 더 나은 정확도, 에너지, 면적 효율성을 제공합니다.
• QAT를 사용한 VS-Quant는 BERT-large 모델에서 3/8비트로 2회 에포크만으로도 정확도를 복구할 수 있었고, 반면 개별 채널 QAT는 최대 20회 에포크가 필요했습니다.