[论文解读] Deep Learning with Low Precision by Half-wave Gaussian Quantization

Zhaowei Cai, Xiaodong He+2 more|arXiv (Cornell University)|Feb 3, 2017

Advanced Image and Video Retrieval Techniques参考文献 49被引用 66

一句话总结

论文提出半波高斯量化器（HWGQ）用于前向激活量化，并配套适合的后向近似，实现1位权重和2位激活（HWGQ-Net），在多个架构中与全精度网络高度接近。

ABSTRACT

The problem of quantizing the activations of a deep neural network is considered. An examination of the popular binary quantization approach shows that this consists of approximating a classical non-linearity, the hyperbolic tangent, by two functions: a piecewise constant sign function, which is used in feedforward network computations, and a piecewise linear hard tanh function, used in the backpropagation step during network learning. The problem of approximating the ReLU non-linearity, widely used in the recent deep learning literature, is then considered. An half-wave Gaussian quantizer (HWGQ) is proposed for forward approximation and shown to have efficient implementation, by exploiting the statistics of of network activations and batch normalization operations commonly used in the literature. To overcome the problem of gradient mismatch, due to the use of different forward and backward approximations, several piece-wise backward approximators are then investigated. The implementation of the resulting quantized network, denoted as HWGQ-Net, is shown to achieve much closer performance to full precision networks, such as AlexNet, ResNet, GoogLeNet and VGG-Net, than previously available low-precision networks, with 1-bit binary weights and 2-bit quantized activations.

研究动机与目标

• 促使研究激活量化以实现高效深度网络，并解决在不可微分量化器训练中的梯度错配问题。
• 提出用于激活的前向 HWGQ，它利用激活统计与批归一化来高效量化激活。
• 开发相应的后向近似，在低精度约束下稳定学习。
• 在大规模数据集和流行架构上评估 HWGQ-Net，展示具有显著效率提升的有竞争力的准确性。

提出的方法

• 用前向半波高斯量化器 HWGQ 对 ReLU 激活进行离散化以量化激活，
• 使用批归一化稳定激活分布，使跨层只需单一 HWGQ 设计，
• 在回传过程中使用分段式后向近似（普通 ReLU、裁剪 ReLU、对数尾部 ReLU）以缓解梯度错配，
• 将前向 HWGQ 与二值符号量化进行比较，并分析后向近似对训练稳定性的影响，
• 在 ImageNet 上对 AlexNet、ResNet、VGG-Variant、GoogLeNet 的网络进行1位权重和2位激活（HWGQ-Net）评估。

实验结果

研究问题

• RQ1 HWGQ 是否能够在对全精度网络误差最小的前提下提供高效的前向激活量化？
• RQ2 前向量化与后向近似之间的梯度错配如何影响学习，定制的后向函数是否能稳定训练？
• RQ3 激活量化位宽以及前向/后向设计对主流架构（AlexNet、ResNet、VGG、GoogLeNet）在大规模数据集上的影响是什么？
• RQ4 1位权重配合低位激活（HWGQ-Net）是否在多种架构上实现接近全精度模型的实际准确性？

主要发现

• HWGQ-Net 具有1位权重和2位激活，在与 AlexNet、ResNet、VGG-Variant、GoogLeNet 的对比中，性能比以往的低精度模型更接近全精度网络。
• 前向 HWGQ 利用激活统计（批归一化后近似高斯分布）来固定量化参数，从而实现跨层的单一量化器设计，
• 像裁剪 ReLU 和对数尾部 ReLU 这样的后向近似显著提升了训练稳定性和最终在反向路径上的准确性，相较于普通 ReLU。
• 相比于之前的低精度方法，HWGQ-Net 展示出有竞争力的 Top-1/Top-5 准确性，同时显著节省内存和计算。论文指出 HWGQ-Net 约可实现 ~32x 内存和 ~32x 卷积计算的节省。
• 在同等比特宽度下，使用 HWGQ 的均匀量化与非均匀量化表现相当；在某些网络（如 AlexNet）中，增加激活量化位宽回报递减，但在更深的网络（如 ResNet-18）上收益更大。