[논문 리뷰] PD-Quant: Post-Training Quantization based on Prediction Difference Metric

Jiawei Liu, Lin Niu외 4명|arXiv (Cornell University)|2022. 12. 14.

Advanced Neural Network Applications인용 수 4

한 줄 요약

PD-Quant는 예측 차이를 사용하여 정량화 매개변수를 최적화함으로써 저비트 모델 정확도를 향상시키는 후기계산 정량화 방법을 제안한다—특히 전체 정밀도 모델과 정량화된 모델 출력 간의 KL 발산을 기반으로 한다. 분포 보정을 도입하여 소규모 校정 데이터셋에서의 과적합을 완화함으로써 최신 기술 수준의 성능을 달성하였으며, 예를 들어 2비트 가중치와 활성화를 가진 ResNet-18에서 53.14%의 top-1 정확도를 기록하였다.

ABSTRACT

Post-training quantization (PTQ) is a neural network compression technique that converts a full-precision model into a quantized model using lower-precision data types. Although it can help reduce the size and computational cost of deep neural networks, it can also introduce quantization noise and reduce prediction accuracy, especially in extremely low-bit settings. How to determine the appropriate quantization parameters (e.g., scaling factors and rounding of weights) is the main problem facing now. Existing methods attempt to determine these parameters by minimize the distance between features before and after quantization, but such an approach only considers local information and may not result in the most optimal quantization parameters. We analyze this issue and ropose PD-Quant, a method that addresses this limitation by considering global information. It determines the quantization parameters by using the information of differences between network prediction before and after quantization. In addition, PD-Quant can alleviate the overfitting problem in PTQ caused by the small number of calibration sets by adjusting the distribution of activations. Experiments show that PD-Quant leads to better quantization parameters and improves the prediction accuracy of quantized models, especially in low-bit settings. For example, PD-Quant pushes the accuracy of ResNet-18 up to 53.14% and RegNetX-600MF up to 40.67% in weight 2-bit activation 2-bit. The code is released at https://github.com/hustvl/PD-Quant.

연구 동기 및 목표

• 극저비트 폭(특히 2비트)에서 정량화 노이즈가 정확도에 심각한 영향을 미치는 후기계산 정량화(PTQ)의 성능 저하 문제를 해결하기 위해.
• 정량화 스케일링 요소와 반올림 값 선택에 있어 국소적 지표(예: MSE 또는 코사인 거리)의 한계를 극복하기 위해.
• 제한된 校정 데이터로 인한 PTQ에서의 과적합 문제를 해결하기 위해 배치 정규화 통계와 일치하도록 활성화 분포를 보정함으로써 일반화 능력을 향상시키기 위해.
• 국소적 특징 재구성 대신 모델 예측 차이의 전역 정보를 활용하여 정량화 매개변수를 최적화하는 방법을 개발하기 위해.

제안 방법

• PD-Quant는 전체 정밀도 모델의 최종 예측과 정량화된 모델의 최종 예측 간 KL 발산을 정량화 매개변수 최적화를 이끄는 주요 지표로 사용한다.
• 예측 차이 손실을 최소화함으로써 활성화 스케일링 요소와 가중치 반올림 값이 동시에 최적화되며, 이는 국소적 특징 이동이 아닌 전역적 모델 행동을 반영한다.
• 분포 보정(DC)을 도입하여 校정 데이터셋의 활성화 평균과 분산을 배치 정규화 레이어에 저장된 값과 일치하도록 조정함으로써 일반화 능력을 향상시킨다.
• 스케일링 요소와 반올림 값에 대한 미분 가능 탐색 전략을 사용하여 계층별로 최적화를 수행하며, 특히 저비트 설정에 중점을 둔다.
• 재학습 없이 후기계산 단계에서만 적용되며, 소량의 비라벨링 校정 샘플에 의존한다.
• ResNet-18, RegNetX-600MF, MobileNetV2에서 평가되었으며, 다양한 모델과 비트 폭에서 일관된 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 전체 정밀도 모델과 정량화된 모델 출력 간의 KL 발산으로 측정된 예측 차이가, MSE나 코사인 거리와 같은 국소적 지표보다 더 나은 정량화 매개변수를 도출할 수 있는가?
• RQ2 전역적 예측 차이 정보를 사용하면 특히 2비트와 같은 저비트 설정에서 정량화 정확도가 향상되는가?
• RQ3 제한된 校정 데이터를 사용할 때, 校정 데이터셋 활성화의 분포 보정이 PTQ에서의 과적합을 완화할 수 있는가?
• RQ4 저비트 폭에서 기존의 PTQ 기반 방법과 비교해 볼 때, 제안된 방법은 정확도와 계산 비용 측면에서 어떻게 성능을 내는가?

주요 결과

• PD-Quant는 2비트 가중치와 2비트 활성화를 가진 ResNet-18에서 ImageNet에서 53.14%의 top-1 정확도를 달성하여 이 설정에서 후기계산 정량화의 새로운 최고 기록을 수립하였다.
• RegNetX-600MF의 경우 동일한 2비트 설정에서 40.67%의 top-1 정확도를 기록하였으며, 이는 이전의 PTQ 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• KL 발산을 통한 예측 차이를 최적화 목표로 사용할 경우, MSE나 코사인 거리와 같은 국소적 지표보다 더 정확한 정량화 매개변수를 도출할 수 있었다.
• 분포 보정(DC)은 최소한의 하이퍼파라미터 튜닝으로도 모델 일반화 능력을 향상시키고 과적합을 감소시켰으며, λc 값에 관계없이 안정적인 성능을 보였다.
• PD-Quant의 추가적인 추론 시간 비용은 수용 가능한 수준이었다—ResNet-18 기준 RTX A6000에서 1.11시간으로, LSQ와 같은 QAT 방법의 120시간과 비교해 매우 낮았다.
• 이 방법은 저비트 가중치 정량화에 강건했지만, 가중치 스케일링 요소에 대해서는 제한적인 향상만 보였으며, 이는 활성화 정량화가 예측 기반 최적화에 더 민감함을 시사한다.