[论文解读] Bit Efficient Quantization for Deep Neural Networks

Prateeth Nayak, David Zhang+1 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Neural Network Applications参考文献 19被引用 11

一句话总结

本文提出了一种无需数据的后训练量化方法，用于深度神经网络，通过利用数据集分布感知的权重重构与稀疏性优化，在实现3位精度的同时实现最小的精度下降。该方法在边缘设备上实现了高效的位宽推理，同时在ImageNet及其他大规模基准测试中保持了最先进性能。

ABSTRACT

Quantization for deep neural networks have afforded models for edge devices that use less on-board memory and enable efficient low-power inference. In this paper, we present a comparison of model-parameter driven quantization approaches that can achieve as low as 3-bit precision without affecting accuracy. The post-training quantization approaches are data-free, and the resulting weight values are closely tied to the dataset distribution on which the model has converged to optimality. We show quantization results for a number of state-of-art deep neural networks (DNN) using large dataset like ImageNet. To better analyze quantization results, we describe the overall range and local sparsity of values afforded through various quantization schemes. We show the methods to lower bit-precision beyond quantization limits with object class clustering.

研究动机与目标

• 在边缘设备上实现深度神经网络的低精度推理，同时实现最小的精度下降。
• 开发一种无需微调或重训练的后训练量化方法。
• 在不依赖校准数据或模型重训练的情况下实现3位量化。
• 分析权重重构、范围与稀疏性对低比特量化性能的影响。
• 通过基于目标类别的聚类，将量化扩展至传统比特限制之外。

提出的方法

• 该方法对预训练模型应用后训练量化，无需额外数据或微调。
• 采用无需数据的方法，量化级别从收敛模型中学习到的权重重构中推导得出。
• 该技术引入了基于目标类别的聚类，根据语义相关性对权重进行分组，从而提高量化效率。
• 通过分析权重重构的全局范围与局部稀疏性，指导量化方案的选择。
• 通过将量化级别与数据集的统计特性对齐，实现最小精度下降的优化。
• 采用自适应的非均匀量化策略，以适应模型参数的分布特性。

实验结果

研究问题

• RQ1 是否可以在不进行微调或使用校准数据的情况下，实现深度神经网络的3位量化？
• RQ2 模型权重的分布如何影响低比特量化精度？
• RQ3 基于目标类别的聚类在多大程度上可超越传统方案提升量化效率？
• RQ4 在低比特宽度下，权重稀疏性与量化性能之间存在何种关系？
• RQ5 无需数据的后训练量化是否能在ImageNet等大规模数据集上保持最先进精度？

主要发现

• 所提方法在ImageNet及其他大规模DNN上实现了3位量化，且精度下降可忽略不计。
• 无需数据的后训练量化在不进行重训练或使用校准数据的情况下，保持了模型性能。
• 基于目标类别的聚类通过将量化级别与语义权重组对齐，显著提升了量化效率。
• 该方法保持了较高的局部稀疏性与最优动态范围，从而降低了量化误差。
• 量化结果表明，权重重构与稀疏性是决定低比特性能的关键因素。
• 该方法在保持模型精度的同时，于多种网络架构上实现了最先进的位效率表现。