[논문 리뷰] Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weights

Aojun Zhou, Anbang Yao외 3명|arXiv (Cornell University)|2017. 02. 10.

Advanced Neural Network Applications인용 수 491

한 줄 요약

INQ는 가중치가 2의 거듭제곱 또는 0인 저정밀 모델로 사전 학습된 풀 정밀 CNN을 변환하고, 가중치 분할, 그룹별 양자화, 재학습을 사용하여 5비트에서 손실 없는 또는 개선된 정확도(경쟁적인 4/3/2비트에서도) 를 달성하며 주요 아키텍처 전반에 걸쳐 효과를 보입니다.

ABSTRACT

This paper presents incremental network quantization (INQ), a novel method, targeting to efficiently convert any pre-trained full-precision convolutional neural network (CNN) model into a low-precision version whose weights are constrained to be either powers of two or zero. Unlike existing methods which are struggled in noticeable accuracy loss, our INQ has the potential to resolve this issue, as benefiting from two innovations. On one hand, we introduce three interdependent operations, namely weight partition, group-wise quantization and re-training. A well-proven measure is employed to divide the weights in each layer of a pre-trained CNN model into two disjoint groups. The weights in the first group are responsible to form a low-precision base, thus they are quantized by a variable-length encoding method. The weights in the other group are responsible to compensate for the accuracy loss from the quantization, thus they are the ones to be re-trained. On the other hand, these three operations are repeated on the latest re-trained group in an iterative manner until all the weights are converted into low-precision ones, acting as an incremental network quantization and accuracy enhancement procedure. Extensive experiments on the ImageNet classification task using almost all known deep CNN architectures including AlexNet, VGG-16, GoogleNet and ResNets well testify the efficacy of the proposed method. Specifically, at 5-bit quantization, our models have improved accuracy than the 32-bit floating-point references. Taking ResNet-18 as an example, we further show that our quantized models with 4-bit, 3-bit and 2-bit ternary weights have improved or very similar accuracy against its 32-bit floating-point baseline. Besides, impressive results with the combination of network pruning and INQ are also reported. The code is available at https://github.com/Zhouaojun/Incremental-Network-Quantization.

연구 동기 및 목표

• CNN의 손실 없는 양자화를 저비트에서 달성하여 FPGA와 같은 효율적인 하드웨어를 가능하게 한다고 동기를 부여한다.
• 정확도 손실을 최소화하기 위해 가중치 분할, 그룹별 양자화, 재학습의 세 가지 상호 의존적 연산을 도입한다.
• 재학습이 남은 부분을 다시 학습시키며 가중치를 그룹별로 양자화하는 점진적 학습 전략을 개발한다.
• ImageNet에서 다양한 아키텍처에 걸친 적용성을 보여주고 더 깊은 압축을 위한 가지치기와의 조합을 탐구한다.

제안 방법

• 가중치를 범위 내 ±2^n의 집합 P_l 로 양자화하고 0 포함하며, 최대 2^(b-1)+1 값과 0을 표현하는 가변 길이 인코딩을 사용한다.
• pruning에서 영감을 얻은 지표를 사용하여 각 층의 가중치를 두 개의 서로 배제된 그룹으로 분할하여 낮은 정밀도 기반과 재학습 가능한 보상 그룹을 형성한다.
• 한 그룹에 양자화를 적용하고 다른 그룹을 재학습시키면서 순차적으로 진행하고, 양자화된 가중치를 고정하고 비양자화 가중치만 업데이트되도록 이진 마스크 T_l 를 업데이트한다.
• 양자화는 2의 거듭제곱의 사다리를 사용하고 인접한 사다리 값에 따른 반올림 규칙을 기반으로 가중치를 가장 가까운 양자 값으로 매핑한다(식(4)).
• 예상 비트 폭 b 는 양자화 레벨의 수를 결정하고, n1 은 최대 가중치 크기로부터 계산되어 n2 를 도출하며, 각 단계의 최종 양자화는 누적 양자화 부분 σ_n 에 의해 결정된다.
• 재학습은 마스크된 업데이트가 적용된 SGD를 따른다: W_l ← W_l − γ ∂E/∂W_l · T_l, 여기서 T_l 은 이미 양자화된 가중치를 마스킹한다.

실험 결과

연구 질문

• RQ1 대규모 CNN에서 정수화 스케줄이 완전 정밀 기준 대비 정확도를 보존하거나 향상시키는가?
• RQ2 저비트 양자화에서 가중치 분할 전략( pruning-inspired vs random )이 최종 정확도에 미치는 영향은 무엇인가?
• RQ3 ImageNet 아키텍처에서 손실 없는 또는 거의 손실 없는 양자화를 위한 비트 폭(4/3/2비트)은 어떤 것이 가능한가?
• RQ4 INQ가 네트워크 가지치기와 상호 작용하여 정확도를 보존하면서 압축을 극대화하는가?

주요 결과

네트워크	비트폭	Top-1 오차	Top-5 오차	Top-1 감소 / Top-5 감소 오차
AlexNet	32 (ref)	42.76%	19.77%	-
AlexNet	5	42.61%	19.54%	0.15% / 0.23%
VGG-16	32 (ref)	31.46%	11.35%	-
VGG-16	5	29.18%	9.70%	2.28% / 1.65%
GoogleNet	32 (ref)	31.11%	10.97%	-
GoogleNet	5	30.98%	10.72%	0.13% / 0.25%
ResNet-18	32 (ref)	31.73%	11.31%	-
ResNet-18	5	31.02%	10.90%	0.71% / 0.41%
ResNet-50	32 (ref)	26.78%	8.76%	-
ResNet-50	5	25.19%	7.55%	1.59% / 1.21%

• INQ는 5비트 양자화에서 AlexNet, VGG-16, GoogleNet, ResNet-18, ResNet-50에 대해 손실 없는 또는 개선된 top-1 및 top-5 정확도를 달성하며(예: 0.13–2.28% top-1 이득 및 0.23–1.65% top-5 이득 포함).
• 방법은 실제로 쉽게 수렴하며, 5비트 모델의 양자화 단계당 보통 8 에폭 미만의 재학습으로 끝나는 경우가 많다.
• 32비트 기준과 비교하여 4비트, 3비트, 2비트 삼진수 가중치를 가진 ResNet-18은 업데이트되거나 거의 동일한 정확도를 보이며(예: 5비트 결과도 4/3/2비트에 확장).
• ResNet-18에서 가지치기-영감 가중치 분할이 무작위 분할보다 우수하여 5비트 INQ에서 top-1/top-5 이득이 각각 1.09%/0.83%이다.
• 동적 네트워크 가지치기(DNS)와 INQ의 조합은 큰 압축 이득을 가져오며(예: AlexNet에서 5비트 양자화로 53× 압축) 깊은 압축 기준에 비해 정확도 변화가 거의 없거나 양의 변화가 있다.
• 벡터 양자화만과 비교했을 때 INQ는 정확도를 더 잘 보존하면서 테스트 네트워크 전반에서 더 낮은 비트 표현을 달성한다.