[论文解读] Joint Training of Low-Precision Neural Network with Quantization Interval Parameters

Sangil Jung, Changyong Son+5 more|arXiv (Cornell University)|Aug 17, 2018

Advanced Neural Network Applications参考文献 10被引用 18

一句话总结

本文提出了一种可训练的量化器，能够学习低精度神经网络的最优量化区间，直接最小化任务损失，从而在4-bit、3-bit和2-bit精度下仍保持高准确率。该方法可在无需访问训练数据的情况下对预训练模型进行有效量化，在ResNet-18、-34和AlexNet上均优于以往方法，在ImageNet基准上表现更优。

ABSTRACT

Reducing bit-widths of activations and weights of deep networks makes it efficient to compute and store them in memory, which is crucial in their deployments to resource-limited devices, such as mobile phones. However, decreasing bit-widths with quantization generally yields drastically degraded accuracy. To tackle this problem, we propose to learn to quantize activations and weights via a trainable quantizer that transforms and discretizes them. Specifically, we parameterize the quantization intervals and obtain their optimal values by directly minimizing the task loss of the network. This quantization-interval-learning (QIL) allows the quantized networks to maintain the accuracy of the full-precision (32-bit) networks with bit-width as low as 4-bit and minimize the accuracy degeneration with further bit-width reduction (i.e., 3 and 2-bit). Moreover, our quantizer can be trained on a heterogeneous dataset, and thus can be used to quantize pretrained networks without access to their training data. We demonstrate the effectiveness of our trainable quantizer on ImageNet dataset with various network architectures such as ResNet-18, -34 and AlexNet, on which it outperforms existing methods to achieve the state-of-the-art accuracy.

研究动机与目标

• 为解决低比特量化在深度神经网络中引起的显著准确率下降问题。
• 开发一种可在训练过程中学习最优量化区间的可训练量化器。
• 实现在无需访问原始训练数据的情况下对预训练模型进行量化。
• 在极低比特宽度（如2-bit、3-bit）下保持高准确率，同时最小化性能下降。
• 在ImageNet等标准基准上超越现有量化方法。

提出的方法

• 该方法将量化区间参数化为网络中的可学习参数。
• 通过可微松弛方法对量化函数进行反向传播，端到端优化量化区间。
• 量化器使用这些学习到的区间对激活值和权重进行变换与离散化。
• 该方法支持低精度网络与量化区间的联合训练，量化区间通过梯度下降进行更新。
• 该方法支持异构数据集，支持迁移学习和预训练模型的量化。
• 量化器使用完整任务损失进行训练，确保与网络目标的一致性。

实验结果

研究问题

• RQ1 能否在训练过程中有效学习量化区间，以减少低精度网络中的准确率下降？
• RQ2 当比特宽度减少到2-bit和3-bit时，所提出的方法在准确率保持方面表现如何？
• RQ3 该量化器是否可应用于无需访问其训练数据的预训练模型？
• RQ4 该方法是否在ImageNet等标准基准上优于现有量化技术？
• RQ5 该方法是否可在ResNet和AlexNet等不同网络架构上实现良好泛化？

主要发现

• 所提出方法在ImageNet上实现了4-bit精度下的最先进准确率，与全精度32-bit网络性能相当。
• 与现有方法相比，该方法在将比特宽度进一步降低至3-bit和2-bit时，显著减少了准确率下降。
• 在无需访问其原始训练数据的情况下，该模型对预训练网络进行量化时仍能保持高准确率。
• 该方法在ResNet-18、ResNet-34和AlexNet架构上优于现有量化技术。
• 量化区间端到端可微训练相比固定或启发式区间设置，能实现更好的收敛性和性能。