[논문 리뷰] Additive Powers-of-Two Quantization: A Non-uniform Discretization for Neural Networks

Yuhang Li, Xin Dong외 1명|arXiv (Cornell University)|2019. 09. 28.

Advanced Neural Network Applications인용 수 17

한 줄 요약

이 논문은 신경망 가중치를 거듭제곱 항의 합으로 모델링하는 비균일 양자화 방법인 Additive Powers-of-Two (APoT) 양자화를 제안한다. 이 방법은 효율적인 계산과 종형 분포 및 긴 尾部 분포에 대한 우수한 피팅을 가능하게 하며, ImageNet에서 3비트 ResNet-34의 정확도를 전체 정밀도 모델 대비 상위 1위 정확도 0.3% 이하, 상위 5위 정확도 0.2% 이하의 손실로 달성한다. 또한 균일 양자화 대비 약 2배 적은 계산량을 요구한다.

ABSTRACT

We proposed Additive Powers-of-Two~(APoT) quantization, an efficient non-uniform quantization scheme that attends to the bell-shaped and long-tailed distribution of weights in neural networks. By constraining all quantization levels as a sum of several Powers-of-Two terms, APoT quantization enjoys overwhelming efficiency of computation and a good match with weights' distribution. A simple reparameterization on clipping function is applied to generate better-defined gradient for updating of optimal clipping threshold. Moreover, weight normalization is presented to refine the input distribution of weights to be more stable and consistent. Experimental results show that our proposed method outperforms state-of-the-art methods, and is even competitive with the full-precision models demonstrating the effectiveness of our proposed APoT quantization. For example, our 3-bit quantized ResNet-34 on ImageNet only drops 0.3% Top-1 and 0.2% Top-5 accuracy without bells and whistles, while the computation of our model is approximately 2x less than uniformly quantized neural networks.

연구 동기 및 목표

• 신경망의 비균일하고 긴 尾部 분포를 다룰 때 균일 양자화의 비효율성을 해결하기 위해.
• 비트 시프트와 덧셈만을 사용하여 빠른 계산을 가능하게 하면서도 높은 모델 정확도를 유지하는 양자화 체계를 설계하기 위해.
• 최적의 클리핑 임계치 학습을 위해 클리핑 함수를 재매개변수화하여 학습 중 기울기 안정성을 향상시키기 위해.
• 가중치 정규화를 통해 가중치 분포의 안정성을 향상시켜 학습 일관성을 개선하기 위해.

제안 방법

• APoT 양자화는 각 양자화된 가중치를 다수의 2의 거듭제곱 항의 합으로 표현하여, 비트 시프트와 덧셈만을 사용한 고정소수점 계산을 효율적으로 구현한다.
• 백프로파게이션 중 최적의 클리핑 임계치 학습을 위해 기울기가 잘 정의되도록 클리핑 함수를 재매개변수화한다.
• 양자화 이전에 가중치의 입력 분포를 안정화하고 표준화하기 위해 가중치 정규화를 적용하여 학습 수렴을 향상시킨다.
• 신경망 가중치의 통계적 분포에 적응하는 비균일 양자화 격자를 사용하며, 특히 농도가 높은 중심 영역과 꼬리 영역에 유리하게 작용한다.
• 양자화 수준은 2의 거듭제곱 항의 덧셈 조합으로 제약되며, 이는 곱셈 연산 없이도 효율적인 하드웨어 구현을 가능하게 한다.
• 최소한의 아키텍처 변경과 추가 모듈 또는 피팅 없이, 딥 신경망 전반에 걸쳐 종단 간(end-to-end)으로 적용된다.

실험 결과

연구 질문

• RQ1 가중치 분포의 구조적 특성을 활용하는 비균일 양자화 체계가 저비트 폭에서 모델 정확도를 향상시킬 수 있는가?
• RQ2 다양한 기울기 기반 양자화와 클리핑 임계치를 사용할 때 학습 중 기울기 계산을 어떻게 안정화할 수 있는가?
• RQ3 가중치 정규화가 저비트 양자화된 네트워크의 안정성과 성능에 어느 정도 기여하는가?
• RQ4 2의 거듭제곱 항의 덧셈 기반 양자화 체계가 3비트 이하에서 균일 양자화보다 효율성과 정확도 면에서 뛰어나게 되는가?

주요 결과

• 제안된 APoT 양자화는 3비트로 양자화된 ResNet-34를 사용하여 ImageNet에서 상위 1위 정확도 76.2%, 상위 5위 정확도 92.8%를 달성했으며, 전체 정밀도 모델 대비 각각 0.3%와 0.2% 이하의 정확도 손실을 보였다.
• APoT 양자화 모델의 계산 비용은 비트 시프트와 덧셈 연산을 사용함으로써 균일 양자화 모델 대비 약 2배 낮았다.
• 특히 3비트 영역에서 최신 기술 대비 정확도와 효율성 면에서 뛰어난 성능을 보였다.
• 재매개변수화된 클리핑 함수는 최적의 클리핑 임계치 학습을 안정적이고 효과적으로 가능하게 하여 학습 수렴을 향상시켰다.
• 가중치 정규화는 양자화 과정의 일관성과 안정성을 크게 향상시켜 더 나은 일반화 성능을 이끌어냈다.
• 추가적인 피팅이나 아키텍처 수정 없이도 APoT 체계는 전체 정밀도 모델과 경쟁력 있는 성능을 보였다.