[论文解读] LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks

Dongqing Zhang, Jiaolong Yang+2 more|arXiv (Cornell University)|Jul 26, 2018

Advanced Neural Network Applications参考文献 4被引用 45

一句话总结

本论文提出可学习量化器，与网络联合训练，对权重和激活进行量化，在 CIFAR-10 和 ImageNet 上实现低比特 DNN 的最先进精度，通过实现位友好、任意比特量化。

ABSTRACT

Although weight and activation quantization is an effective approach for Deep Neural Network (DNN) compression and has a lot of potentials to increase inference speed leveraging bit-operations, there is still a noticeable gap in terms of prediction accuracy between the quantized model and the full-precision model. To address this gap, we propose to jointly train a quantized, bit-operation-compatible DNN and its associated quantizers, as opposed to using fixed, handcrafted quantization schemes such as uniform or logarithmic quantization. Our method for learning the quantizers applies to both network weights and activations with arbitrary-bit precision, and our quantizers are easy to train. The comprehensive experiments on CIFAR-10 and ImageNet datasets show that our method works consistently well for various network structures such as AlexNet, VGG-Net, GoogLeNet, ResNet, and DenseNet, surpassing previous quantization methods in terms of accuracy by an appreciable margin. Code available at https://github.com/Microsoft/LQ-Nets

研究动机与目标

• 通过量化权重和激活来减小 DNN 模型大小和计算量，同时尽量降低精度损失。
• 提出可学习的量化器，与按位运算兼容，以保持快速推理。
• 实现逐层/逐通道量化，具有任意比特宽度，并将量化器与网络参数联合训练。
• 在多种架构和数据集上展示相较于先前量化方法的精度提升。

提出的方法

• 提出一个可学习量化器 Qours(x, v) = v^T e_l ，其中 x 属于一个量化区间，e_l 编码 K 位级。
• 量化级别通过一个学习得到的基向量 v ∈ R^K 和 K 位编码 e_l ∈ {−1,1}^K 生成，使得量化与按位兼容。
• 采用逐层激活量化器和逐通道权重量化器，使用 QEM（Quantization Error Minimization）在前向传播中交替优化 v 和编码 B。
• 前向传播优化最小化 ||Bx − vB||^2，其中 B ∈ {−1,1}^{K×N}，v ∈ R^K；当 B 固定时，使用闭式更新 v* = (BB^T)^{-1}Bx。
• 通过 Straight-Through Estimator (STE) 反向传播穿透量化器；在训练期间使用滑动均值以稳定量化器参数。
• 以标准方式训练网络，训练完成后舍弃量化器，只保留它们的编码/基向量用于推理。

实验结果

研究问题

• RQ1 可学习的、与按位兼容的量化器是否能在低比特量化网络中超越手工设计的量化器的精度？
• RQ2 将量化器与网络权重/激活联合训练如何影响跨架构和数据集的性能？
• RQ3 Quantization Error Minimization (QEM) 与标准反向传播在优化量化器方面的有效性如何？
• RQ4 具任意比特宽度的逐层激活量化与逐通道权重量化在降低模型大小的同时是否能保持推理速度？

主要发现

• 可学习的量化器在不同架构（AlexNet、VGG、GoogLeNet、ResNet、DenseNet）上始终优于固定量化器。
• 基于 QEM 的训练在权重仅量化和权重+激活量化上均优于标准反向传播。
• 在 ImageNet 的 ResNet-18 上，4/32 位达到 Top-1 70.0% 和 Top-5 89.1%，非常接近全精度（69.6%/89.2%）；2/32 和 3/32 也相对于固定量化器显示出显著提升。
• 在 CIFAR-10 上，3/32 的量化对 ResNet-20 和 VGG-Small 几乎达到全精度结果；1 位权重和 2 位激活仍保持有竞争力的精度。
• 与 DoReFa-Net 和 HWGQ 相比，LQ-Nets 的 1/2、2/2、3/3、4/4 配置在 ImageNet 的 Top-1/Top-5 上在 ResNet-34、ResNet-50 和 DenseNet-121 上取得更高表现。
• 训练时间随比特宽度的增加而适度增加，2/32、3/32 和 1/2 相对于全精度呈现成比例的训练时间提升。