[论文解读] Mixed Precision DNNs: All you need is a good parametrization

Stefan Uhlich, Lukas Mauch+6 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 22被引用 51

一句话总结

论文表明通过步长和动态范围对量化器进行参数化（从而得到推断出的比特宽度）使训练稳定，达到最先进的混合精度DNN。

ABSTRACT

Efficient deep neural network (DNN) inference on mobile or embedded devices typically involves quantization of the network parameters and activations. In particular, mixed precision networks achieve better performance than networks with homogeneous bitwidth for the same size constraint. Since choosing the optimal bitwidths is not straight forward, training methods, which can learn them, are desirable. Differentiable quantization with straight-through gradients allows to learn the quantizer's parameters using gradient methods. We show that a suited parametrization of the quantizer is the key to achieve a stable training and a good final performance. Specifically, we propose to parametrize the quantizer with the step size and dynamic range. The bitwidth can then be inferred from them. Other parametrizations, which explicitly use the bitwidth, consistently perform worse. We confirm our findings with experiments on CIFAR-10 and ImageNet and we obtain mixed precision DNNs with learned quantization parameters, achieving state-of-the-art performance.

研究动机与目标

• 通过混合精度量化推动在移动/嵌入式设备上的高效DNN推理。
• 研究如何使用基于梯度的方法端到端地学习量化参数。
• 确定一种能够实现稳定训练和强大最终性能的参数化。
• 展示学习到的量化对 CIFAR-10 与 ImageNet 比较的影响。

提出的方法

• 使用带直通梯度的可微分量化来学习量化器参数。
• 通过步长和动态范围对量化器进行参数化，从中推断比特宽度。
• 比较显式使用比特宽度与否的参数化方法。
• 在 CIFAR-10 和 ImageNet 上进行评估，以评估学习到的混合精度网络的性能。

实验结果

研究问题

• RQ1 当由步长和动态范围参数化时，可微分量化能学习出有用的比特宽度吗？
• RQ2 这种参数化相比基于比特宽度的参数化能否提供更稳定的训练和更好的性能？
• RQ3 与固定或同质精度相比，学习到的量化参数对标准基准（CIFAR-10、ImageNet）的性能有何影响？
• RQ4 在尺寸约束下，学习到的混合精度网络对推理效率的影响如何？

主要发现

• 通过步长和动态范围对量化器进行参数化使混合精度DNN的训练稳定。
• 比特宽度可以从学习到的步长和动态范围推断，而不是事先固定。
• 显式使用比特宽度的其他参数化表现更差。
• 在 CIFAR-10 和 ImageNet 上的实验表明学习到的量化实现了强性能。
• 该方法产生的具学习量化参数的混合精度DNN在所测试的基准上达到最先进的性能。