[논문 리뷰] Benchmarking the Reliability of Post-training Quantization: a Particular Focus on Worst-case Performance

Zhihang Yuan, Jiawei Liu외 7명|arXiv (Cornell University)|2023. 03. 23.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 분포 이탈 상황에서의 최악의 성능을 고려하여 후기준화 양자화(PTQ) 방법의 신뢰성 평가를 체계적으로 수행하는 프레임워크를 제안한다. 평균 정확도는 안정적인 반면, 특히 저비트 양자화 또는 노이즈가 있는 校정 데이터를 사용할 경우 일부 카테고리에서 정확도가 심각하게 하락함을 드러내며, 높은 평균 성능에도 불구하고 최신 PTQ 방법에 잠재된 심각한 신뢰성 격차를 폭 드러낸다.

ABSTRACT

Post-training quantization (PTQ) is a popular method for compressing deep neural networks (DNNs) without modifying their original architecture or training procedures. Despite its effectiveness and convenience, the reliability of PTQ methods in the presence of some extrem cases such as distribution shift and data noise remains largely unexplored. This paper first investigates this problem on various commonly-used PTQ methods. We aim to answer several research questions related to the influence of calibration set distribution variations, calibration paradigm selection, and data augmentation or sampling strategies on PTQ reliability. A systematic evaluation process is conducted across a wide range of tasks and commonly-used PTQ paradigms. The results show that most existing PTQ methods are not reliable enough in term of the worst-case group performance, highlighting the need for more robust methods. Our findings provide insights for developing PTQ methods that can effectively handle distribution shift scenarios and enable the deployment of quantized DNNs in real-world applications.

연구 동기 및 목표

• 분포 이탈 및 데이터 노이즈와 같은 극한의 테스트 조건에서 PTQ 방법의 신뢰성을 조사하기 위해.
• 최악의 성능에 영향을 주는 요인들—예: 校정 세트의 분포, 양자화 설정, 최적화 알고리즘—을 특정하기 위해.
• 평균 정확도를 넘어서 하위군 및 카테고리 수준의 성능에 중점을 두어 PTQ의 신뢰성 평가를 위한 표준화된 프레임워크를 개발하기 위해.
• 최악의 성능에 대한 강건성이 필수적인 위험 감수성 높은 응용 분야에서 현재의 PTQ 방법의 한계를 부각하기 위해.

제안 방법

• 평균 지표와 최악의 하위군(예: 희귀 또는 분포 외 카테고리)을 모두 평가하는 체계적인 평가 프레임워크를 제안한다.
• 다양한 데이터셋(CIFAR-10, ImageNet)과 네트워크 아키텍처(ResNet20, MobileNetV2)를 활용하여 다양한 조건 하에서의 신뢰성 평가를 수행한다.
• 분포 이탈 및 노이즈를 주입한 다양한 校정 세트 구성 방식을 테스트하여, 양자화 모델 성능에 미치는 영향을 분석한다.
• 그리드 서치, Adaround, BRECQ, QDrop의 네 가지 최적화 알고리즘을 평가하여 평균 정확도와 클래스별 정확도 안정성의 차이를 비교한다.
• 50개의 랜덤 시드를 기반으로 통계 분석을 수행하여 클래스별 정확도의 표준편차를 측정함으로써, 신뢰성 변동성을 정량화한다.
• 모델, 작업, 데이터셋 간에 재현 가능하고 표준화된 PTQ 신뢰성 평가를 가능하게 하는 벤치마킹 파이프라인을 도입한다.

실험 결과

연구 질문

• RQ1 교정 세트의 분포 변화가 양자화 모델의 최악의 성능에 어떤 영향을 미치는가?
• RQ2 다양한 양자화 설정(예: 비트 폭)이 특정 카테고리에서의 성능 저하에 어떤 영향을 미치는가?
• RQ3 유사한 평균 정확도를 보일지라도, 다양한 PTQ 최적화 알고리즘이 개별 클래스의 신뢰성 측면에서 어떻게 상호 비교되는가?
• RQ4 교정 단계에서의 데이터 증강 또는 샘플링 전략이 최악의 성능 강건성에 어떤 영향을 미치는가?
• RQ5 기울기 기반 PTQ 방법은 평균 정확도가 높은 편이지만, 분포 이탈 상황에서도 여전히 신뢰성을 유지할 수 있는가?

주요 결과

• 양자화 후 일부 카테고리에서 심각한 정확도 하락이 발생하며, 일부 클래스는 10퍼센트 포인트 이상 감소하여 최악의 신뢰성 부족을 드러낸다.
• 교정 세트의 분포 이탈이나 노이즈 상황에서도 평균 정확도는 안정되지만, 클래스별 정확도는 특히 저비트 환경에서 매우 민감하게 반응한다.
• 비트 폭을 6에서 4로 감소시키면 특정 클래스에서 성능 저하가 심각해지며, 예를 들어 CIFAR-10의 Class 4에서 W4A4 양자화 시 15.5%의 하락이 발생한다.
• 기울기 기반 방법인 QDrop는 높은 평균 정확도(예: ImageNet W6A6에서 72.1%)를 달성하지만, 클래스별 표준편차가 높아 최대 ±2.77에 이르며, 이는 낮은 신뢰성과 관련이 있다.
• ImageNet에서 QDrop는 Class 1에서 68.8%의 정확도를 기록했고, 그리드 서치는 70.6%를 기록하여 평균 성능이 뛰어나도 강건성이 보장되지 않음을 보여준다.
• 50회 반복 실행 시 클래스별 정확도의 표준편차는 QDrop에서 가장 높아 최대 ±2.95에 이르며, 이는 기울기 기반 방법이 높은 평균 성능에도 불구하고 최악의 시나리오에서는 낮은 신뢰성을 보임을 확인한다.