[논문 리뷰] Model compression as constrained optimization, with application to neural nets. Part II: quantization

Miguel Á. Carreira-Perpiñán, Yerlan Idelbayev|arXiv (Cornell University)|2017. 07. 13.

Neural Networks and Applications참고 문헌 21인용 수 23

한 줄 요약

이 논문은 실수값 가중치를 학습하고, 적응형 또는 고정 코드북을 사용하여 그 가중치를 양자화하는 것을 번갈아가며 수행하는 제약 최적화 프레임워크를 제안한다. 이 방법은 국소 최적해로의 수렴을 보장하며, 정확도 손실을 최소화하면서도 1bit/가중치까지의 초고압축을 달성하여, 이전의 양자화 방법들보다 압축 비율과 정확도 유지 측면에서 뛰어나다.

ABSTRACT

We consider the problem of deep neural net compression by quantization: given a large, reference net, we want to quantize its real-valued weights using a codebook with $K$ entries so that the training loss of the quantized net is minimal. The codebook can be optimally learned jointly with the net, or fixed, as for binarization or ternarization approaches. Previous work has quantized the weights of the reference net, or incorporated rounding operations in the backpropagation algorithm, but this has no guarantee of converging to a loss-optimal, quantized net. We describe a new approach based on the recently proposed framework of model compression as constrained optimization \citep{Carreir17a}. This results in a simple iterative "learning-compression" algorithm, which alternates a step that learns a net of continuous weights with a step that quantizes (or binarizes/ternarizes) the weights, and is guaranteed to converge to local optimum of the loss for quantized nets. We develop algorithms for an adaptive codebook or a (partially) fixed codebook. The latter includes binarization, ternarization, powers-of-two and other important particular cases. We show experimentally that we can achieve much higher compression rates than previous quantization work (even using just 1 bit per weight) with negligible loss degradation.

연구 동기 및 목표

• 최적의 손실을 갖는 양자화된 신경망을 훈련하기 위한 원칙적이고 수렴 보장이 되는 방법의 부족을 해결하기 위해.
• 제약 최적화 하에서 네트워크 가중치와 양자화 코드북을 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• 모델 정확도를 유지하면서 고압축 양자화(이진화 및 삼진화 포함)를 가능하게 하기 위해.
• 수렴 보장이 없는 수단적인 양자화 기법들에 대한 수학적으로 엄밀한 대안을 제공하기 위해.
• 양자화된 네트워크가 성능 저하를 거의 느끼지 않으면서도 최대 압축(예: 1bit/가중치)을 달성할 수 있음을 보여주기 위해.

제안 방법

• 양자화된 가중치가 코드북 내에 존재하도록 제약 조건을 설정하는 제약 최적화 공식을 사용하여, 가중치와 코드북 항목을 함께 최적화할 수 있도록 한다.
• 실수값 가중치에 대한 확률적 경사 하강법과 k-means(적응형 코드북) 또는 최적 할당(고정 코드북)을 통한 양자화를 번갈아 수행하는 반복적 '학습-압축'(LC) 알고리즘을 적용한다.
• 고정 코드북(예: 이진화)의 경우, 최적성 조건을 바탕으로 부호 기반 할당과 선택적 전역 스케일링을 사용하여 양자화 단계를 수행한다.
• 이진화에서 최적의 임계값 선택을 위한 효율적인 알고리즘을 도입하여, 절댓값의 누적합과 활성 가중치 수의 제곱근을 포함하는 함수를 최대화한다.
• 증강 라그랑주 방법을 적용하여 교차 최적화 단계를 유도하고, 약한 조건 하에서 국소 최적해로의 수렴을 보장한다.
• 최적화 과정에서 양자화 제약 조건을 이행하기 위해 증강 라그랑주 함수에 제곱 페널티 항을 도입한다.

실험 결과

연구 질문

• RQ1 최소한의 손실을 갖는 양자화된 신경망을 훈련하기 위한 원칙적이고 수렴 보장이 되는 방법을 개발할 수 있는가?
• RQ2 코드북을 네트워크 가중치와 함께 최적화함으로써 더 나은 압축과 정확도를 달성할 수 있는가?
• RQ3 이 방법을 통해 근사적으로 최대 압축(예: 1bit/가중치)을 달성하면서도 정확도 저하가 심각하지 않은가?
• RQ4 제안된 LC 알고리즘이 양자화된 네트워크 손실의 국소 최적해로 수렴하는가?
• RQ5 기존의 양자화 기법들과 비교했을 때, 본 방법의 성능은 압축 비율과 정확도 유지 측면에서 어떻게 다른가?

주요 결과

• 제안된 학습-압축 알고리즘은 양자화된 네트워크 손실의 국소 최적해로 수렴함을 보장하며, 이는 이전 방법들에 비해 부재했던 이론적 보장이다.
• 이전의 접근 방식들보다 훨씬 높은 압축률을 달성하며, 1bit/가중치까지의 압축을 실현하면서도 정확도 손실이 거의 없음을 확인하였다.
• 이진화의 경우, 원래 가중치의 재구성 오차를 최소화하는 최적의 전역 스케일링 인자와 부호 기반 할당을 계산한다.
• 특히 극단적인 비트 레이트에서 압축 효율성과 정확도 유지 측면에서 기존의 양자화 기법들을 능가하는 성능을 보였다.
• 이진화의 최적 임계값은 절댓값의 누적합을 포함하는 함수를 최대화함으로써 결정되며, 이는 양자화 제약 조건과 일관성을 유지한다.
• 이 프레임워크는 삼진화, 2의 거듭제곱 형태, 기타 고정 코드북으로 일반화되어 있어, 다양한 유연성과 효율성 있는 양자화 전략을 가능하게 한다.