[论文解读] Fast Adjustable Threshold For Uniform Neural Network Quantization (Winning solution of LPIRC-II)

Alexander Goncharenko, Andrey Denisov+2 more|arXiv (Cornell University)|Dec 19, 2018

Advanced Neural Network Applications参考文献 28被引用 6

一句话总结

本文提出了一种快速、可训练的均匀神经网络量化阈值调整方法，显著减少了后训练量化过程中的精度下降。通过在简短的微调阶段（最多8个周期）学习量化阈值的缩放因子，该方法在极少的数据和计算成本下实现了高精度的量化模型——在MNASNet上实现了74.8%的ImageNet top-1准确率，相较于全精度模型的75.3%仅略有下降。

ABSTRACT

Neural network quantization procedure is the necessary step for porting of neural networks to mobile devices. Quantization allows accelerating the inference, reducing memory consumption and model size. It can be performed without fine-tuning using calibration procedure (calculation of parameters necessary for quantization), or it is possible to train the network with quantization from scratch. Training with quantization from scratch on the labeled data is rather long and resource-consuming procedure. Quantization of network without fine-tuning leads to accuracy drop because of outliers which appear during the calibration. In this article we suggest to simplify the quantization procedure significantly by introducing the trained scale factors for quantization thresholds. It allows speeding up the process of quantization with fine-tuning up to 8 epochs as well as reducing the requirements to the set of train images. By our knowledge, the proposed method allowed us to get the first public available quantized version of MNAS without significant accuracy reduction - 74.8% vs 75.3% for original full-precision network. Model and code are ready for use and available at: https://github.com/agoncharenko1992/FAT-fast_adjustable_threshold.

研究动机与目标

• 解决校准过程中异常值导致的后训练量化中的精度下降问题。
• 在不牺牲模型精度的前提下，降低量化微调的计算和数据需求。
• 实现在移动设备上高效部署量化模型，且性能损失最小化。
• 提供一个公开可用、高精度的MNASNet量化版本，采用简单且可训练的阈值机制。

提出的方法

• 引入可学习的缩放因子以替代基于校准的固定阈值。
• 通过少量微调阶段（最多8个周期）使用标注数据训练这些缩放因子。
• 采用具有对称或非对称范围的均匀量化，通过学习到的参数调整阈值。
• 使用可微分的量化函数，实现缩放因子的端到端训练。
• 通过在微调过程中学习鲁棒的阈值，减少对大型校准数据集的依赖。
• 将该方法应用于全精度模型（如MNASNet），生成可直接部署的量化版本。

实验结果

研究问题

• RQ1 可训练的阈值机制是否能在不进行大量微调的情况下减少后训练量化中的精度下降？
• RQ2 使用该方法实现高精度量化模型所需的微调量有多大？
• RQ3 该方法是否能在保持模型性能的同时减少校准阶段的数据需求？
• RQ4 该方法对SOTA模型（如MNASNet）的精度影响如何？
• RQ5 该方法在不同神经网络架构上是否具有泛化能力？

主要发现

• 该方法将所需的微调周期减少至最多8个，显著加快了量化过程。
• 该方法在ImageNet上使用MNASNet实现了74.8%的top-1准确率，相较于全精度模型的75.3%仅略有下降。
• 该方法实现了首个公开可用、精度损失极小的MNASNet量化版本。
• 通过在微调过程中学习鲁棒的阈值，减少了对大型校准数据集的依赖。
• 模型和代码已公开发布，可立即用于移动设备的部署。