[논문 리뷰] Joint Training of Low-Precision Neural Network with Quantization Interval Parameters

Sangil Jung, Changyong Son외 5명|arXiv (Cornell University)|2018. 08. 17.

Advanced Neural Network Applications참고 문헌 10인용 수 18

한 줄 요약

이 논문은 저해상도 신경망을 위한 최적의 양자화 간격을 학습하는 트레이너블 양자화기(quantizer)를 제안한다. 이는 작업 손실를 직접 최소화하여 4비트, 3비트, 2비트 정밀도에서도 높은 정확도를 유지한다. 이 방법은 학습 데이터에 접근할 수 없더라도 사전 학습된 모델을 효과적으로 양자화할 수 있으며, ResNet-18, -34 및 AlexNet에서 ImageNet 기준으로 이전 방법들을 능가한다.

ABSTRACT

Reducing bit-widths of activations and weights of deep networks makes it efficient to compute and store them in memory, which is crucial in their deployments to resource-limited devices, such as mobile phones. However, decreasing bit-widths with quantization generally yields drastically degraded accuracy. To tackle this problem, we propose to learn to quantize activations and weights via a trainable quantizer that transforms and discretizes them. Specifically, we parameterize the quantization intervals and obtain their optimal values by directly minimizing the task loss of the network. This quantization-interval-learning (QIL) allows the quantized networks to maintain the accuracy of the full-precision (32-bit) networks with bit-width as low as 4-bit and minimize the accuracy degeneration with further bit-width reduction (i.e., 3 and 2-bit). Moreover, our quantizer can be trained on a heterogeneous dataset, and thus can be used to quantize pretrained networks without access to their training data. We demonstrate the effectiveness of our trainable quantizer on ImageNet dataset with various network architectures such as ResNet-18, -34 and AlexNet, on which it outperforms existing methods to achieve the state-of-the-art accuracy.

연구 동기 및 목표

• 깊은 신경망에서 저비트 양자화로 인한 정확도 저하 문제를 해결하기 위해.
• 학습 중에 최적의 양자화 간격을 학습할 수 있는 트레이너블 양자화기를 개발하기 위해.
• 기존 학습 데이터에 접근할 수 없더라도 사전 학습된 모델의 양자화를 가능하게 하기 위해.
• 초저비트 폭(예: 2비트, 3비트)에서도 높은 정확도를 유지하면서 성능 저하를 최소화하기 위해.
• ImageNet과 같은 표준 벤치마크에서 기존의 양자화 방법들을 능가하기 위해.

제안 방법

• 양자화 간격을 네트워크 내에서 학습 가능한 파라미터로 매개변수화한다.
• 다양한 유도 기반의 미분 가능성으로 양자화 함수를 통해 역전파하여 간격을 종합 최적화한다.
• 학습된 간격을 사용해 활성화 및 가중치를 모두 변환하고 이산화한다.
• 양자화 간격을 경사 하강법으로 업데이트하면서 저정밀도 네트워크와 함께 공동 학습이 가능하다.
• 이 방법은 이질적인 데이터셋을 지원하여 전이 학습 및 사전 학습된 모델의 양자화를 가능하게 한다.
• 양자화기의 학습은 전체 작업 손실을 사용하여 네트워크 목표와 일치하도록 보장한다.

실험 결과

연구 질문

• RQ1 학습 중에 양자화 간격을 효과적으로 학습함으로써 저정밀도 네트워크에서 정확도 저하를 줄일 수 있는가?
• RQ2 비트 폭을 2비트 및 3비트로 줄였을 때 제안된 방법이 얼마나 잘 정확도를 유지하는가?
• RQ3 학습 데이터에 접근할 수 없더라도 이 양자화기를 사전 학습된 모델에 적용할 수 있는가?
• RQ4 이 방법이 ImageNet과 같은 표준 벤치마크에서 기존의 양자화 기법을 능가하는가?
• RQ5 이 방법이 ResNet 및 AlexNet과 같은 다양한 네트워크 아키텍처에 일반화 가능한가?

주요 결과

• 제안된 방법은 4비트 정밀도에서 ImageNet에서 최고 성능을 달성하며, 32비트 정밀도의 전체 정밀도 네트워크 성능과 동일한 성능을 유지한다.
• 기존 방법들과 비교해 볼 때 3비트 및 2비트로 비트 폭을 더 줄였을 때 정확도 저하가 크게 감소한다.
• 기존 학습 데이터에 접근할 필요 없이 사전 학습된 네트워크를 양자화하더라도 높은 정확도를 유지한다.
• ResNet-18, ResNet-34 및 AlexNet 아키텍처에서 기존의 양자화 기법들을 능가한다.
• 양자화 간격의 종단 간 전이 가능한 미분 가능한 학습은 고정 또는 히ュ리스틱 간격 설정보다 더 좋은 수렴과 성능을 이끈다.