[논문 리뷰] Near-Lossless Post-Training Quantization of Deep Neural Networks via a Piecewise Linear Approximation

Jun Fang, Ali Shafiee외 4명|arXiv (Cornell University)|2020. 01. 31.

Advanced Neural Network Applications참고 문헌 5인용 수 10

한 줄 요약

이 논문은 텐서 값 범위를 겹치지 않는 영역으로 나누고 등가의 양자화 수준을 할당함으로써 저비트 폭에서 정확도를 향상시키는 후기 훈련 양자화 방법인 조각별 선형 양자화(PWQL)를 제안한다. 양자화 오차를 최소화하기 위해 절곡점을 최적화함으로써, PWLQ는 재훈련이 필요 없고 원본 훈련 데이터에 대한 접근도 필요로 하지 않으면서도 이미지 분류, 영상 세분화, 객체 검출에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Quantization plays an important role in the energy-efficient deployment of deep neural networks on resource-limited devices. Post-training quantization is highly desirable since it does not require retraining or access to the full training dataset. The well-established uniform scheme for post-training quantization achieves satisfactory results by converting neural networks from full-precision to 8-bit fixed-point integers. However, it suffers from significant performance degradation when quantizing to lower bit-widths. In this paper, we propose a piecewise linear quantization (PWLQ) scheme to enable accurate approximation for tensor values that have bell-shaped distributions with long tails. Our approach breaks the entire quantization range into non-overlapping regions for each tensor, with each region being assigned an equal number of quantization levels. Optimal breakpoints that divide the entire range are found by minimizing the quantization error. Compared to state-of-the-art post-training quantization methods, experimental results show that our proposed method achieves superior performance on image classification, semantic segmentation, and object detection with minor overhead.

연구 동기 및 목표

• 저비트 폭(예: 4비트 이하)에서 균일한 후기 훈련 양자화의 성능 저하 문제를 해결한다.
• 벨 모양 분포와 긴 尾(꼬리)를 가진 텐서에 대해 정확한 양자화를 가능하게 한다. 이러한 텐서는 균일한 방법으로는 잘 처리되지 않는다.
• 재훈련과 전체 훈련 데이터 접근 없이도 고정밀도 모델 정확도를 유지하는 후기 훈련 양자화 방법을 개발한다.
• 각 텐서의 비균일한 조각별 선형 영역에서 최적의 절곡점 배치를 통해 양자화 오차를 최소화한다.
• 기존의 후기 훈련 방법들과 비교해 이미지 분류, 영상 세분화, 객체 검출 등 다양한 비전 작업에서 뛰어난 성능을 달성한다.

제안 방법

• 텐서 값의 전체 범위를 데이터 분포에 기반해 겹치지 않는 영역으로 나눈다.
• 각 영역에 동일한 수의 양자화 수준을 할당하여 텐서 값의 조각별 선형 근사를 가능하게 한다.
• 양자화 오차를 최소화하기 위해 오차 함수의 미분 가능 근사를 사용하여 영역 간 절곡점을 최적화한다.
• 재훈련이나 원본 훈련 데이터에 대한 접근 없이도 추론 시에 양자화 기법을 적용한다.
• 각 텐서에 따라 동적으로 결정되는 절곡점을 사용하여 정밀한 값에서 저비트 정수로의 매핑을 위한 조각별 선형 함수를 구현한다.
• 영역 수를 제한하고 효율적인 최적화 기법을 사용함으로써 양자화 정확도와 계산 오버헤드 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 조각별 선형 양자화 기법이 딥 뉴럴 네트워크의 저비트 폭에서 균일한 양자화보다 우수한 성능을 낼 수 있는가?
• RQ2 제안된 방법은 비균일하고 벨 모양의 분포 및 긴 꼬리가 있는 텐서를 어떻게 다루는가?
• RQ3 최신 기술 수준의 후기 훈련 양자화 기법과 비교해 이 방법이 양자화 오차를 얼마나 줄이는가?
• RQ4 제안된 프레임워크에서 양자화 정확도와 계산 오버헤드 사이의 상호 교환 관계는 어떠한가?
• RQ5 이 방법은 이미지 분류, 영상 세분화, 객체 검출과 같은 다양한 컴퓨터 비전 작업에서 높은 성능을 유지하는가?

주요 결과

• PWLQ는 이미지 분류, 영상 세분화, 객체 검출 벤치마크에서 최신 기술 수준의 후기 훈련 양자화 방법보다 뛰어난 정확도를 달성한다.
• 최적화된 비균일한 절곡점을 통해 텐서 값의 분포에 적응함으로써 양자화 오차를 크게 감소시킨다.
• PWLQ는 4비트 이하의 낮은 비트 폭에서도 높은 모델 성능을 유지한다. 이는 균일한 양자화가 일반적으로 심각한 정확도 저하를 겪는 영역이다.
• 방법은 오직 소량의 계산 오버헤드만을 유발하므로 자원 제약이 있는 장치에 구현하기에 실용적이다.
• 조각별 선형 근사는 딥 뉴럴 네트워크 활성화에서 흔히 나타나는 긴 꼬리 분포를 효과적으로 포착한다.
• 재훈련이나 전체 훈련 데이터 세트에 대한 접근이 필요 없기 때문에 후기 훈련 양자화의 장점을 그대로 유지한다.