[논문 리뷰] Retraining-Based Iterative Weight Quantization for Deep Neural Networks

Dongsoo Lee, Byeongwook Kim|arXiv (Cornell University)|2018. 05. 29.

Advanced Neural Network Applications참고 문헌 21인용 수 12

한 줄 요약

이 논문은 훈련 반복 기반의 가중치 양자화 방법을 제안하여 PTB 데이터셋에서 LSTMs 모델의 1비트 양자화를 가능하게 하며, 정확도 저하 없이 수행한다. 각 양자화 단계 이후에 정밀도가 높은 가중치로 반복적으로 재훈련함으로써, 양자화 오차를 줄이고 더 평탄한 최소값을 찾는다. 이는 정확도 손실를 최소화하면서도 고압축을 실현하며, 특히 정렬 기반 기법과 조합될 경우 더욱 효과적이다.

ABSTRACT

Model compression has gained a lot of attention due to its ability to reduce hardware resource requirements significantly while maintaining accuracy of DNNs. Model compression is especially useful for memory-intensive recurrent neural networks because smaller memory footprint is crucial not only for reducing storage requirement but also for fast inference operations. Quantization is known to be an effective model compression method and researchers are interested in minimizing the number of bits to represent parameters. In this work, we introduce an iterative technique to apply quantization, presenting high compression ratio without any modifications to the training algorithm. In the proposed technique, weight quantization is followed by retraining the model with full precision weights. We show that iterative retraining generates new sets of weights which can be quantized with decreasing quantization loss at each iteration. We also show that quantization is efficiently able to leverage pruning, another effective model compression method. Implementation issues on combining the two methods are also addressed. Our experimental results demonstrate that an LSTM model using 1-bit quantized weights is sufficient for PTB dataset without any accuracy degradation while previous methods demand at least 2-4 bits for quantized weights.

연구 동기 및 목표

• 딥 네ural 웹워크의 가중치 양자화에 필요한 비트 수를 줄이되, 훈련 절차를 수정하지 않고서도 수행하는 것.
• 특히 메모리 집약적인 RNN, 예를 들어 LSTMs와 같은 모델에서 극단적인 양자화로 인한 정확도 저하 문제를 해결하는 것.
• 반복적 재훈련을 통해 양자화 품질을 향상시키고, 정밀도가 높은 가중치와 양자화된 가중치 간의 평균 제곱오차(MSE)를 최소화하는 방법을 개발하는 것.
• 정렬과 반복적 양자화의 상호보완적 효과를 탐색하여 압축률과 정확도를 향상시키는 것.
• 1비트 양자화가 시퀀스 모델링 작업, 예를 들어 언어 모델링과 같은 작업에서 전체 정밀도 모델 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 이 방법은 반복적 양자화를 적용한다: 저비트 표현으로 가중치를 양자화한 후, 모델을 정밀도가 높은 가중치로 재훈련하여 해를 개선한다.
• 각 반복 단계에서, 현재의 양자화된 가중치에서 시작하여 모델을 재훈련함으로써 손실 곡면에서 더 평탄한 최소값으로 수렴하도록 한다.
• 양자화는 탐욕적인 교대 방식으로 수행된다: k비트 양자화의 경우, 각 비트가 잔차 오차를 최소화하도록 순차적으로 최적화된다.
• 1비트 양자화는 부호 기반 이진화를 사용하고, 더 높은 비트 수에서는 잔차 오차를 반복적으로 최소화하며, 각 레이어별로 스케일링 인자를 조정한다.
• 양자화 이전에 정렬을 적용하여 파라미터 수를 줄이며, 수렴 속도를 높이고 양자화 품질을 향상시킨다.
• 기존 훈련 알고리즘을 수정하지 않고, 반복적으로 재훈련을 통해 양자화 정밀도를 향상시키는 프레임워크를 구축한다.

실험 결과

연구 질문

• RQ1 정밀도가 높은 가중치로 반복 재훈련함으로써, 극단적인 가중치 양자화 후에 양자화 오차를 줄이고 정확도를 향상시킬 수 있는가?
• RQ2 정렬과 반복적 양자화를 조합하면 수렴 속도가 빨라지고 비트 폭 요구 조건이 낮아지는가?
• RQ3 1비트 양자화가 PTB와 같은 언어 모델링 작업에서 LSTMs 모델의 전체 정밀도 성능을 달성할 수 있는가?
• RQ4 반복적 재훈련은 손실 곡면에 어떤 영향을 미치며, 더 평탄한 최소값을 만들어 일반화 성능을 향상시키는가?
• RQ5 압축 비율과 정확도 측면에서 정렬과 반복적 양자화의 최적의 상호보완 관계는 무엇인가?

주요 결과

• 제안된 방법은 1비트 양자화를 사용하여 PTB 소형 모델에서 테스트 퍼플렉서티 113.426을 달성하였으며, 전체 정밀도 기준선인 115.111과 동일한 성능을 보였다.
• 80% 정렬과 21회의 재훈련 반복을 적용한 PTB 중간 모델에서, 1비트 양자화를 사용하여 테스트 퍼플렉서티 85.540을 달성하였다.
• 85% 정렬을 적용한 PTB 대형 모델에서, 1비트 양자화를 사용하여 테스트 퍼플렉서티 80.308을 달성하였으며, 전체 정밀도 결과와 매우 유사한 성능을 보였다.
• Text8 데이터셋에서, 6비트 양자화를 사용하여 테스트 퍼플렉서티 105.632를 달성하였으며, 동일한 비트 폭에서 기준선인 Alternating 방법보다 우수한 105.972를 기록하였다.
• 정렬과 반복적 양자화의 조합은 재훈련 반복 횟수를 줄이고 수렴 속도를 높이며, 그림 8에서 MSE 감소 속도가 가속됨을 보여주었다.
• 이 방법은 PTB에서 1비트 양자화가 상태 최고 성능을 달성하는 데 충분하며, 이는 이전 방법들이 최소 2~4비트가 필요로 했던 바를 뒷받침한다.