[논문 리뷰] Post-Training Piecewise Linear Quantization for Deep Neural Networks

Jun Fang, Ali Shafiee외 4명|arXiv (Cornell University)|2020. 01. 31.

Advanced Neural Network Applications참고 문헌 64인용 수 16

한 줄 요약

이 논문은 텐서 값 범위를 겹치지 않는 영역으로 나누고, 각 영역에 동일한 양자화 수준을 할당함으로써 저비트 후기 훈련 양자화를 향상시키는 Post-Training Piecewise Linear Quantization (PWLQ)를 제안한다. 각 영역의 최적의 절단점은 양자화 오차를 최소화하도록 최적화되며, 이는 균일 양자화보다 훨씬 뛰어난 성능을 보이며, 최소한의 하드웨어 오버헤드로 4비트 이하에서 이미지 분류, 세분화, 객체 검출 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Quantization plays an important role in the energy-efficient deployment of deep neural networks on resource-limited devices. Post-training quantization is highly desirable since it does not require retraining or access to the full training dataset. The well-established uniform scheme for post-training quantization achieves satisfactory results by converting neural networks from full-precision to 8-bit fixed-point integers. However, it suffers from significant performance degradation when quantizing to lower bit-widths. In this paper, we propose a piecewise linear quantization (PWLQ) scheme to enable accurate approximation for tensor values that have bell-shaped distributions with long tails. Our approach breaks the entire quantization range into non-overlapping regions for each tensor, with each region being assigned an equal number of quantization levels. Optimal breakpoints that divide the entire range are found by minimizing the quantization error. Compared to state-of-the-art post-training quantization methods, experimental results show that our proposed method achieves superior performance on image classification, semantic segmentation, and object detection with minor overhead.

연구 동기 및 목표

• 저비트 폭(예: 4비트)에서 후기 훈련 양자화의 성능 저하 문제를 해결하기 위해, 특히 종형 분포를 띠는 가중치와 활성화 값이 있는 모델을 대상으로 한다.
• 재훈련이나 전체 훈련 데이터에 접근하지 않더라도 높은 정확도를 유지하는 양자화 체계를 개발한다.
• 복잡한 변환 또는 룩업 테이블을 피하면서도 균일 양자화보다 richer한 표현을 가능하게 하는 하드웨어 우수한 방법을 설계한다.
• 분류, 세분화, 객체 검출을 포함한 다양한 컴퓨터 비전 작업에서 제안된 방법의 성능을 평가한다.

제안 방법

• 각 텐서(가중치 또는 활성화)의 전체 범위를 겹치지 않는 영역으로 나누며, 각 영역에 동일한 수의 양자화 수준을 할당한다.
• 특히 긴 尾(꼬리)를 가진 종형 분포에 대해 효과적인 조각별 선형 근사법을 사용하여 텐서 값의 분포를 모델링한다.
• 양자화 오차를 최소화하기 위해 수치 최적화를 통해 영역 간 최적의 절단점( breakpoint )을 결정한다.
• 각 레이어 또는 채널별 양자화를 지원하며, 정확도 향상을 위해 편향 보정을 통합한다.
• 로그 변환 또는 군집 기반 룩업을 피함으로써 하드웨어 효율성을 유지하며, 정수 전용 하드웨어에서 빠른 추론을 가능하게 한다.
• 훈련 후 적용되며, 원래 훈련 데이터 세트에 대한 접근이나 미세조정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 조각별 선형 양자화 체계는 균일 양자화보다 저비트 후기 훈련 양자화에서 양자화 오차를 더 효과적으로 줄일 수 있는가?
• RQ2 PWLQ는 4비트 이하에서 긴 꼬리가 있는 종형 분포를 띠는 가중치와 활성화 값을 가진 모델에서 어떻게 성능을 내는가?
• RQ3 최적의 절단점 선택은 다양한 비전 작업에서 양자화 정확도와 모델 성능에 어떤 영향을 미치는가?
• RQ4 PWLQ는 DFQ와 같은 최신 기술 수준의 후기 훈련 양자화 방법과 정확도 및 하드웨어 효율성 측면에서 어떻게 비교되는가?
• RQ5 PWLQ는 재훈련 없이도 세분화 및 객체 검출과 같은 다양한 컴퓨터 비전 작업에 효과적으로 적용될 수 있는가?

주요 결과

• ImageNet 분류 작업에서, ResNet-50에 대해 4비트 PWLQ는 상위-1 정확도 74.98%를 달성하여 4비트 균일 양자화보다 2.56% 높은 성능을 보였다.
• DeepLab-v3+에서의 세분화 작업에서는 4비트 PWLQ가 mIoU 67.66%를 기록하여 4비트 균일 양자화 대비 17.61% 향상된 성능을 보였다.
• SSD-Lite를 사용한 객체 검출에서는 4비트 PWLQ가 정밀도 저하를 오직 0.38%로 줄였고, 균일 양자화는 3.91%의 저하를 보였다.
• 6비트 가중치를 사용한 PWLQ는 DeepLab-v3+에서 8비트 DFQ보다 더 높은 성능을 보였으며, mIoU는 70.39%로 DFQ의 72.33%를 상회하지 못했지만, 이는 기존 기준에서의 성능 향상을 의미한다.
• 모든 평가된 작업에서 최신 기술 수준의 성능을 달성하며, 계산 오버헤드를 최소화하여 강력한 일반화 능력과 하드웨어 호환성을 입증했다.