[论文解读] Dataflow-based Joint Quantization of Weights and Activations for Deep Neural Networks

Xue Geng, Jie Fu+5 more|arXiv (Cornell University)|Jan 4, 2019

Advanced Neural Network Applications参考文献 23被引用 4

一句话总结

该论文提出了一种面向深度神经网络权重重参数和激活值的、基于数据流感知的联合量化方法，仅使用位移和舍入操作，最大限度减少信息损失和硬件成本。该方法在8位量化下实现了最先进（SOTA）的精度，与基线方法相比，能耗降低约9倍，面积减少约15倍。

ABSTRACT

This paper addresses a challenging problem - how to reduce energy consumption without incurring performance drop when deploying deep neural networks (DNNs) at the inference stage. In order to alleviate the computation and storage burdens, we propose a novel dataflow-based joint quantization approach with the hypothesis that a fewer number of quantization operations would incur less information loss and thus improve the final performance. It first introduces a quantization scheme with efficient bit-shifting and rounding operations to represent network parameters and activations in low precision. Then it restructures the network architectures to form unified modules for optimization on the quantized model. Extensive experiments on ImageNet and KITTI validate the effectiveness of our model, demonstrating that state-of-the-art results for various tasks can be achieved by this quantized model. Besides, we designed and synthesized an RTL model to measure the hardware costs among various quantization methods. For each quantization operation, it reduces area cost by about 15 times and energy consumption by about 9 times, compared to a strong baseline.

研究动机与目标

• 解决在边缘部署的DNN中降低能耗而不损失精度的挑战。
• 克服现有低精度量化方法中存在的性能下降和高硬件成本问题。
• 通过基于数据流感知的模块重组织，减少量化操作次数，从而最小化信息损失。
• 设计一种硬件友好的量化方案，仅使用位移和舍入操作，以实现高效推理。
• 在无需耗时微调阶段的情况下，实现高精度的量化模型。

提出的方法

• 引入量化函数 Q(r; Nr, n_bits)，通过位移和舍入将浮点数值映射为低精度整数，其中 Nr 为唯一可调参数。
• 为权重、偏置、输入和输出激活分别分配独立的分数位宽（Nr），以保留动态范围。
• 基于数据流将网络重构为统一模块，以减少量化操作次数。
• 在这些模块上采用联合重建误差损失函数，实现量化参数的端到端优化。
• 将批量归一化层合并到卷积操作中，进一步减少计算量和内存访问次数。
• 在推理中仅使用整数运算，支持高效硬件映射，计算开销极低。

实验结果

研究问题

• RQ1 减少量化操作次数是否能提升低精度DNN中的精度？
• RQ2 基于位移的量化方案与基于乘法的缩放方法相比，在硬件效率方面表现如何？
• RQ3 通过基于数据流感知的模块设计联合优化权重和激活值，能否消除对微调阶段的需求？
• RQ4 在RTL中实现不同量化操作时，其硬件成本（面积和能耗）如何？
• RQ5 与最先进量化技术相比，该方法在ImageNet和KITTI等标准基准上的表现如何？

主要发现

• 所提方法在ResNet上实现ImageNet的最先进精度，在Faster R-CNN上实现KITTI的最先进精度，均采用8位量化。
• 8位量化模型相比全精度浮点模型，计算量和内存访问量减少约4倍。
• 与使用缩放因子的强基线相比，位移操作使能耗降低约9倍，面积减少约15倍。
• 基于码本的方法硬件成本最高，面积消耗约高出11.5倍，功耗约高出14.8倍。
• 联合重建误差损失使高精度量化模型训练成为可能，且无需单独的微调阶段。
• 在更深的残差块中，尤其是残差加法单元，由于累积量化效应，MSE有所增加。