[논문 리뷰] Learning Low Precision Deep Neural Networks through Regularization.

Yoojin Choi, Mostafa El‐Khamy외 1명|arXiv (Cornell University)|2018. 09. 01.

Advanced Image Processing Techniques참고 문헌 64인용 수 27

한 줄 요약

이 논문은 학습 가능한 정규화 계수를 도입하여 정규화 기반 방법을 제안함으로써, 정밀도 제약 조건이 엄격한 환경에서도 종단 간 훈련에 의존하지 않고 저해상도 딥 네ural 네트워크(DNN)를 훈련시켜 최소한의 양자화 손실을 달성한다. 이 방법은 ImageNet 벤치마크에서 8비트 및 이진 DNN에 대해 최신 기술 수준의 정확도를 달성하며, 초해상도 작업에서는 0.5 dB PSNR 손실을 기록하고, LeNet-5에서는 최대 401배의 압축을 달성한다.

ABSTRACT

We consider the quantization of deep neural networks (DNNs) to produce low-precision models for efficient inference of fixed-point operations. Compared to previous approaches to training quantized DNNs directly under the constraints of low-precision weights and activations, we learn the quantization of DNNs with minimal quantization loss through regularization. In particular, we introduce the learnable regularization coefficient to find accurate low-precision models efficiently in training. In our experiments, the proposed scheme yields the state-of-the-art low-precision models of AlexNet and ResNet-18, which have better accuracy than their previously available low-precision models. We also examine our quantization method to produce low-precision DNNs for image super resolution. We observe only $0.5$~dB peak signal-to-noise ratio (PSNR) loss when using binary weights and 8-bit activations. The proposed scheme can be used to train low-precision models from scratch or to fine-tune a well-trained high-precision model to converge to a low-precision model. Finally, we discuss how a similar regularization method can be adopted in DNN weight pruning and compression, and show that $401 imes$ compression is achieved for LeNet-5.

연구 동기 및 목표

• 엄격한 정밀도 제약 조건 하에서 종단 간 훈련에 의존하지 않고 저정밀도 DNN에서의 양자화 손실을 줄이기 위해.
• 고정밀도 모델의 미세조정 또는 초기 상태에서부터 저정밀도 모델을 효율적으로 훈련할 수 있도록 하기 위해.
• 양자화를 넘어서 정규화 방법의 적용 가능성을 탐색하기 위해, 특히 가중치 프루닝 및 모델 압축에 응용할 수 있도록 하기 위해.
• 이미지 초해상도 및 분류 작업을 위한 고정밀도 저정밀도 모델을 달성하기 위해.

제안 방법

• 학습 중에 동적으로 조정되는 학습 가능한 정규화 계수를 도입하여 양자화 오차를 최소화한다.
• 가중치 및 활성화 양자화 과정에 정규화를 적용함으로써, 네트워크가 최적의 저정밀도 표현을 학습할 수 있도록 한다.
• 양자화 인식 정규화를 통한 종단 간 훈련을 수행함으로써, 정확한 저정밀도 솔루션으로 수렴할 수 있도록 한다.
• 동일한 정규화 프레임워크를 통합된 훈련 절차에서 가중치 양자화와 활성화 양자화에 모두 적용한다.
• 가중치 프루닝에 이 정규화 원리를 적용하여 고압축 비율을 달성할 수 있도록 한다.
• 이 방법을 초기 훈련 및 고정밀도 사전 훈련 모델의 미세조정에 모두 적용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 계수를 가진 정규화가 직접적인 양자화 훈련보다 더 효과적으로 양자화 손실을 줄일 수 있는가?
• RQ2 ImageNet에서 기존의 양자화 기법과 비교해 본다면, 제안된 방법은 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 이 방법은 저정밀도 설정에서 이미지 초해상도 작업의 성능을 얼마나 잘 유지할 수 있는가?
• RQ4 동일한 정규화 프레임워크를 모델 압축 및 프루닝으로까지 확장할 수 있는가?
• RQ5 이 정규화 기반 프루닝 접근법을 통해 달성할 수 있는 압축 비율은 어느 정도인가?

주요 결과

• 제안된 방법은 AlexNet 및 ResNet-18의 저정밀도 모델에서 최신 기술 수준의 정확도를 달성한다.
• 이미지 초해상도 작업에서는 이진 가중치와 8비트 활성화를 사용할 경우 오직 0.5 dB의 PSNR 손실만을 기록한다.
• 이 방법은 고정밀도 모델의 초기 훈련 또는 사전 훈련된 모델의 미세조정 모두에서 일관된 성능 향상을 제공한다.
• 정규화 프레임워크는 가중치 프루닝을 통해 LeNet-5 모델에 대해 최대 401배의 압축을 달성한다.
• 학습 가능한 정규화 계수는 훈련 중에 양자화 오차와 모델 정확도 사이의 균형을 효과적으로 조절한다.