[论文解读] Towards the Limit of Network Quantization

Yoojin Choi, Mostafa El‐Khamy+1 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 25被引用 62

一句话总结

本文提出基于海森矩阵加权的k-means聚类与熵约束标量量化（ECSQ）方法，用于深度神经网络量化，以在压缩率约束下最小化性能损失。通过利用海森矩阵对量化误差进行加权，并结合霍夫曼编码，该方法在LeNet上实现51.25×的压缩率，在ResNet上实现22.17×的压缩率，在AlexNet上实现40.65×的压缩率，且精度损失可忽略不计。

ABSTRACT

Network quantization is one of network compression techniques to reduce the redundancy of deep neural networks. It reduces the number of distinct network parameter values by quantization in order to save the storage for them. In this paper, we design network quantization schemes that minimize the performance loss due to quantization given a compression ratio constraint. We analyze the quantitative relation of quantization errors to the neural network loss function and identify that the Hessian-weighted distortion measure is locally the right objective function for the optimization of network quantization. As a result, Hessian-weighted k-means clustering is proposed for clustering network parameters to quantize. When optimal variable-length binary codes, e.g., Huffman codes, are employed for further compression, we derive that the network quantization problem can be related to the entropy-constrained scalar quantization (ECSQ) problem in information theory and consequently propose two solutions of ECSQ for network quantization, i.e., uniform quantization and an iterative solution similar to Lloyd's algorithm. Finally, using the simple uniform quantization followed by Huffman coding, we show from our experiments that the compression ratios of 51.25, 22.17 and 40.65 are achievable for LeNet, 32-layer ResNet and AlexNet, respectively.

研究动机与目标

• 解决传统k-means聚类在神经网络量化中次优的问题，该方法忽略了量化误差对网络损失的影响。
• 通过利用海森矩阵建模误差影响，在固定压缩率约束下最小化量化带来的性能损失。
• 在信息论中建立网络量化与熵约束标量量化（ECSQ）之间的理论联系，以实现最优可变长度编码。
• 实现所有网络层的联合量化，避免逐层优化，提升压缩效率。
• 为实际部署提供一种低成本的海森矩阵替代方案，利用Adam优化器中梯度二阶矩估计实现，无需额外计算开销。

提出的方法

• 将网络量化建模为最小化海森矩阵加权失真问题，其中海森矩阵用于衡量参数对损失变化的敏感度。
• 提出海森矩阵加权的k-means聚类方法，将网络参数分组，使得高影响参数以更低误差进行量化。
• 在使用最优可变长度编码（如霍夫曼编码）时，将压缩率约束下的量化问题重新表述为熵约束标量量化（ECSQ）问题。
• 提出两种ECSQ的启发式解决方案：均匀量化和受Lloyd算法启发的迭代算法，用于标量量化。
• 在训练过程中，利用梯度二阶矩估计的平方根作为海森矩阵的低成本近似，该方法在使用Adam优化器时无需额外开销即可获得。
• 对所有网络层实施联合量化，实现全局优化，无需逐层调整压缩率。

实验结果

研究问题

• RQ1 在固定压缩率约束下，如何最优地最小化深度神经网络中的量化误差？
• RQ2 何种量化误差加权度量能准确反映其对网络损失的影响？
• RQ3 网络量化问题能否与信息论中的数据压缩问题（如ECSQ）建立正式联系？
• RQ4 与逐层量化相比，所有层联合量化在性能和压缩效率方面表现如何？
• RQ5 能否在不牺牲精度的前提下，有效使用海森矩阵的低成本替代方案进行量化？

主要发现

• 海森矩阵加权的k-means聚类比标准k-means更有效地减少性能损失，尤其在使用定长编码时表现更优。
• 当结合霍夫曼编码时，均匀量化和迭代ECSQ算法优于海森矩阵加权k-means，因为它们针对可变长度编码进行了优化。
• 仅使用1,000个样本估计海森矩阵即可获得与全批量估计几乎相同的性能，实现高效计算。
• 梯度二阶矩估计的平方根作为海森矩阵的替代方案极为有效且成本低廉，性能与真实海森矩阵相当，且无需额外训练开销。
• 所有层联合量化实现了更优的压缩率——LeNet达到51.25×，32层ResNet达到22.17×，AlexNet达到40.65×，同时保持接近原始精度。
• 所提方法在压缩率上优于先前工作（如Han et al., 2015a）：LeNet实现51.25×对比39.00×，ResNet实现22.17×（对比N/A），在相似设置下表现更优。