[논문 리뷰] Improving Neural Network Quantization using Outlier Channel Splitting

Ritchie Zhao, Yuwei Hu외 3명|arXiv (Cornell University)|2019. 01. 28.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 재학습 없이 양자화 오차를 줄이기 위해 극단적인 가중치 값을 가진 채널을 복제하고, 그 크기를 반으로 줄이며, 이를 재분배하는 Outlier Channel Splitting (OCS) 기법을 제안한다. OCS는 이미지넷 및 언어 모델링 작업에서 양자화 모델의 정확도를 향상시키며, 최신 클리핑 기법을 능가하지만 일반 하드웨어에서의 계산 오버헤드는 최소한이다.

ABSTRACT

Quantization can improve the execution latency and energy efficiency of neural networks on both commodity GPUs and specialized accelerators. The majority of existing literature focuses on training quantized DNNs, while this work examines the less-studied topic of quantizing a floating-point model without (re)training. DNN weights and activations follow a bell-shaped distribution post-training, while practical hardware uses a linear quantization grid. This leads to challenges in dealing with outliers in the distribution. Prior work has addressed this by clipping the outliers or using specialized hardware. In this work, we propose outlier channel splitting (OCS), which duplicates channels containing outliers, then halves the channel values. The network remains functionally identical, but affected outliers are moved toward the center of the distribution. OCS requires no additional training and works on commodity hardware. Experimental evaluation on ImageNet classification and language modeling shows that OCS can outperform state-of-the-art clipping techniques with only minor overhead.

연구 동기 및 목표

• 재학습 없이 사전 훈련된 깊은 신경망을 양자화하는 데 도전하는 데 목적이 있으며, 특히 가중치 및 활성화 분포에서 이상치 값으로 인한 영향을 다루기 위함이다.
• 선형 양자화 격자와 잘 맞지 않는 극단적인 값의 영향을 완화함으로써 일반 하드웨어에서 양자화 정확도를 향상시키는 데 목적이 있다.
• 특수 하드웨어나 추가 훈련 없이도 모델의 기능을 유지하면서 이상치로 인한 양자화 오차를 줄이는 방법을 개발하는 데 목적이 있다.
• 표준 벤치마크인 이미지넷 분류 및 언어 모델링 작업에서 OCS의 효과를 평가하는 데 목적이 있다.

제안 방법

• OCS는 사전 훈련된 신경망의 채널 중에서 중심 분포에서 크게 벗어난 극단적인 이상치를 포함한 가중치를 식별한다.
• 각 이상치 채널에 대해 채널을 복제하고, 복제된 복사본의 가중치 크기를 반으로 줄인다.
• 기존 채널과 복제된 채널을 네트워크 기능을 유지하는 방식으로 조합하여, 결과적으로 이상치 값이 분포의 중심 쪽으로 이동하게 한다.
• 이러한 재분배로 인해 선형 양자화 격자와 잘 맞지 않는 비대칭이고 종형 분포를 띠는 가중치 및 활성화 분포로 인한 양자화 오차가 감소한다.
• 이 기법은 사후 훈련 단계에서 적용되며, 미세조정이나 재학습이 필요 없어 기존 추론 파이프라인과 호환된다.
• 이 방법은 일반 하드웨어에서도 효율적으로 구현되며, 모델 크기와 추론 비용의 증가가 미미하다.

실험 결과

연구 질문

• RQ1 사후 훈련 양자화 방법이 재학습이나 전용 하드웨어 없이 이상치 가중치로 인한 양자화 오차를 줄일 수 있는가?
• RQ2 표준 벤치마크에서 OCS는 기존 클리핑 기반 양자화 기법과 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ3 양자화 후 OCS는 이미지넷 분류 및 언어 모델링 작업에서 모델 정확도를 어느 정도 향상시키는가?
• RQ4 가중치 분포의 변화에도 불구하고 이상치 채널 분할 후 네트워크의 기능 등가성은 유지되는가?

주요 결과

• OCS는 이미지넷 분류 작업에서 최신 클리핑 기반 양자화 기법보다 상위-1 정확도에서 뛰어난 성능을 보였다.
• 언어 모델링 작업에서도 클리핑 기법보다 높은 정확도를 달성하여, 다양한 모델 유형에 걸쳐 효과적임을 입증하였다.
• OCS는 모델 크기와 추론 비용의 증가가 미미하여 일반 하드웨어에 구현하기에 실용적이다.
• 양자화 후에도 네트워크 기능 등가성이 유지되었으며, 가중치 재분배에도 불구하고 네트워크 동작은 그대로 유지되었다.
• 이상치 값들을 분포의 중심 쪽으로 이동시킴으로써 실제 가중치 분포와 선형 양자화 격자 간의 불일치를 줄였다.
• 재학습 없이도 구조적 수정을 통한 사후 처리 양자화 전략의 효과성을 입증하였다.