[论文解读] Learning Low Precision Deep Neural Networks through Regularization.

Yoojin Choi, Mostafa El‐Khamy+1 more|arXiv (Cornell University)|Sep 1, 2018

Advanced Image Processing Techniques参考文献 64被引用 27

一句话总结

该论文提出了一种基于正则化的训练方法，通过引入可学习的正则化系数，在最小化量化损失的前提下训练低精度深度神经网络（DNN）。该方法在ImageNet基准上实现了8位和二值DNN的最先进精度，超分辨率任务中仅造成0.5 dB PSNR损失，LeNet-5模型通过剪枝实现最高401倍压缩。

ABSTRACT

We consider the quantization of deep neural networks (DNNs) to produce low-precision models for efficient inference of fixed-point operations. Compared to previous approaches to training quantized DNNs directly under the constraints of low-precision weights and activations, we learn the quantization of DNNs with minimal quantization loss through regularization. In particular, we introduce the learnable regularization coefficient to find accurate low-precision models efficiently in training. In our experiments, the proposed scheme yields the state-of-the-art low-precision models of AlexNet and ResNet-18, which have better accuracy than their previously available low-precision models. We also examine our quantization method to produce low-precision DNNs for image super resolution. We observe only $0.5$~dB peak signal-to-noise ratio (PSNR) loss when using binary weights and 8-bit activations. The proposed scheme can be used to train low-precision models from scratch or to fine-tune a well-trained high-precision model to converge to a low-precision model. Finally, we discuss how a similar regularization method can be adopted in DNN weight pruning and compression, and show that $401 imes$ compression is achieved for LeNet-5.

研究动机与目标

• 在严格精度约束下不依赖端到端训练，减少低精度DNN中的量化损失。
• 实现从零开始训练或通过微调高精度模型，高效训练低精度模型。
• 探索该正则化方法在量化之外的应用，包括权重剪枝和模型压缩。
• 为图像超分辨率和分类任务实现高精度的低精度模型。

提出的方法

• 引入一个可在训练过程中动态调整的可学习正则化系数，以最小化量化误差。
• 将正则化应用于权重和激活量化的处理过程，使网络能够学习最优的低精度表示。
• 通过量化解耦正则化的端到端训练，使模型收敛到高精度的低精度解。
• 在统一的训练过程中，将相同的正则化框架同时应用于权重量化和激活量化。
• 通过应用相同的正则化原则，将该方法适配至权重剪枝，实现高倍压缩率。
• 将该方法应用于从零开始训练和微调预训练的高精度模型。

实验结果

研究问题

• RQ1 使用可学习系数的正则化是否比直接量化训练更有效地减少量化损失？
• RQ2 在ImageNet上，该方法与现有量化方案相比在精度方面表现如何？
• RQ3 该方法在低精度设置下对图像超分辨率任务的性能保持程度如何？
• RQ4 该正则化框架能否扩展至模型压缩和剪枝？
• RQ5 通过该基于正则化的剪枝方法可实现多高的压缩率？

主要发现

• 所提方法在AlexNet和ResNet-18的低精度模型中实现了最先进精度。
• 在图像超分辨率任务中，使用二值权重和8位激活时，该方法仅造成0.5 dB PSNR损失。
• 该方法可实现从零开始训练低精度模型或微调高精度模型，并保持一致的性能提升。
• 正则化框架通过权重剪枝在LeNet-5上实现了最高401倍的模型压缩。
• 可学习的正则化系数在训练过程中有效平衡了量化误差与模型精度。