[论文解读] Effective Quantization Methods for Recurrent Neural Networks

Qinyao He, He Wen+5 more|arXiv (Cornell University)|Nov 30, 2016

Advanced Neural Network Applications参考文献 20被引用 65

一句话总结

本文提出了一种用于循环神经网络（RNNs）的新量化框架，实现了LSTM和GRU单元中权重和激活值的有效低比特量化。通过引入依赖参数的阈值平衡量化方法，并对门结构和跨连接进行结构修改，该方法在2比特权重下仍能达到最先进性能，在PTB和IMDB数据集上表现优于以往工作。

ABSTRACT

Reducing bit-widths of weights, activations, and gradients of a Neural Network can shrink its storage size and memory usage, and also allow for faster training and inference by exploiting bitwise operations. However, previous attempts for quantization of RNNs show considerable performance degradation when using low bit-width weights and activations. In this paper, we propose methods to quantize the structure of gates and interlinks in LSTM and GRU cells. In addition, we propose balanced quantization methods for weights to further reduce performance degradation. Experiments on PTB and IMDB datasets confirm effectiveness of our methods as performances of our models match or surpass the previous state-of-the-art of quantized RNN.

研究动机与目标

• 解决低比特量化RNN中观察到的显著性能下降问题，特别是在2比特权重和激活值的情况下。
• 为LSTM和GRU单元设计感知量化的结构，以在极端位宽约束下保持模型容量。
• 开发一种平衡量化方法，通过诱导对称且均匀分布的量化权重，最大化参数空间利用率。
• 证明平衡量化相比非平衡方法在2比特精度下显著提升性能。
• 在TensorFlow中发布开源代码，用于训练量化RNN，以支持可复现性与进一步研究。

提出的方法

• 使用仿射变换将值映射到[0,1]范围后，对权重和激活值应用统一的k比特量化。
• 在训练过程中，通过直通估计器（STE）反向传播梯度，以处理不可微的量化函数。
• 在量化过程中引入依赖参数的阈值，以强制实现量化权重的平衡分布，尤其适用于2比特情况。
• 通过量化门计算和跨连接，对LSTM和GRU单元的内部结构进行修改，以保持数值稳定性。
• 应用归一化和正则化技术，如tanh激活函数和权重衰减，以防止低比特设置下的梯度爆炸。
• 使用固定超参数的ADAM优化器进行模型训练，并在标准NLP基准（PTB和IMDB）上进行评估。

实验结果

研究问题

• RQ1 能否在不造成显著性能下降的前提下，实现RNN在2比特权重和激活值下的有效量化？
• RQ2 通过依赖参数的阈值诱导的权重平衡量化，与非平衡量化相比，对模型准确率的影响如何？
• RQ3 对LSTM和GRU单元进行哪些结构修改可提升其在低比特量化下的鲁棒性？
• RQ4 所提出的方法是否在Penn Treebank和IMDB等标准NLP基准上优于以往最先进量化RNN？
• RQ5 所提出的量化框架能否推广至其他RNN架构，或扩展至4比特以上的更高位宽？

主要发现

• 所提出的平衡量化方法显著减少了性能下降，在LSTM中实现2比特权重和3比特激活值时，Penn Treebank数据集上的困惑度（PPW）达到146。
• 在2比特权重和2比特激活值下，GRU模型在PTB上的PPW为150，优于先前最先进方法74 PPW。
• 在IMDB句子分类任务中，2比特权重和2比特激活值的GRU模型达到87.08%准确率，较非平衡方法高出0.86个百分点。
• 4比特量化模型的性能与全精度32比特模型相当或略优，在PTB上GRU为104 PPW，LSTM为114 PPW。
• 1比特权重的二值化模型虽能收敛，但性能大幅下降，表明在无架构修改的情况下，1比特量化对RNN仍具挑战性。
• 结果证实，平衡量化在低比特宽度下尤其有效，且在2比特精度下，平衡与非平衡方法之间的性能差距进一步扩大。