[论文解读] Deploy Large-Scale Deep Neural Networks in Resource Constrained IoT Devices with Local Quantization Region

Yi Yang, Andy Chen+4 more|arXiv (Cornell University)|May 24, 2018

Advanced Neural Network Applications参考文献 20被引用 7

一句话总结

本文提出了一种局部量化区域（LQR）方法，通过使用低比特精度（8位至1位）在资源受限的物联网设备上部署大规模深度神经网络。通过在仅导致极小精度损失（例如，2位时top-1精度仅下降0.7%）的前提下实现高达2倍的加速（在Intel Edison上），该方法通过高效地用查表操作替代乘加运算，使复杂度较高的模型在低成本硬件上成为可行。

ABSTRACT

Implementing large-scale deep neural networks with high computational complexity on low-cost IoT devices may inevitably be constrained by limited computation resource, making the devices hard to respond in real-time. This disjunction makes the state-of-art deep learning algorithms, i.e. CNN (Convolutional Neural Networks), incompatible with IoT world. We present a low-bit (range from 8-bit to 1-bit) scheme with our local quantization region algorithm. We use models in Caffe model zoo as our example tasks to evaluate the effect of our low precision data representation scheme. With the available of local quantization region, we find implementations on top of those schemes could greatly retain the model accuracy, besides the reduction of computational complexity. For example, our 8-bit scheme has no drops on top-1 and top-5 accuracy with 2x speedup on Intel Edison IoT platform. Implementations based on our 4-bit, 2-bit or 1-bit scheme are also applicable to IoT devices with advances of low computational complexity. For example, the drop on our task is only 0.7% when using 2-bit scheme, a scheme which could largely save transistors. Making low-bit scheme usable here opens a new door for further optimization on commodity IoT controller, i.e. extra speed-up could be achieved by replacing multiply-accumulate operations with the proposed table look-up operations. The whole study offers a new approach to relief the challenge of bring advanced deep learning algorithm to resource constrained low-cost IoT device.

研究动机与目标

• 解决在低成本、资源受限的物联网设备上部署高复杂度深度神经网络的挑战。
• 在不造成显著精度下降的前提下，降低深度学习推理的计算复杂度和内存占用。
• 使8位至1位的低比特量化成为商品化物联网控制器上边缘人工智能的可行解决方案。
• 探索通过查表操作替代乘加运算以实现进一步加速的可行性。
• 在实际物联网平台（如Intel Edison）上展示低精度模型的实用可行性。

提出的方法

• 提出一种局部量化区域（LQR）算法，按层或特征图自适应地进行量化，相比全局量化提升了精度。
• 使用低比特表示（8位、4位、2位、1位）以减小模型大小和计算成本。
• 在推理流水线中，用高效的查表操作替代标准的乘加（MAC）运算。
• 在Caffe模型动物园中的预训练模型上评估该方案，以确保其在现实场景中的适用性。
• 优化量化过程，在最小化精度损失的同时最大化硬件效率。
• 在Intel Edison平台上实现该方法，以验证实时性能和加速效果。

实验结果

研究问题

• RQ1 在资源受限的物联网设备上，采用局部量化区域的低比特量化能否保持高模型精度？
• RQ2 使用8位或更低精度表示，计算复杂度能降低到何种程度？
• RQ3 LQR方法在不同位宽下与全局量化相比，在保持模型精度方面表现如何？
• RQ4 基于查表的推理能否在低端硬件上替代MAC运算并实现显著加速？
• RQ5 在使用1位或2位量化时，模型精度与计算效率之间的权衡如何？

主要发现

• 8位量化方案在Intel Edison平台上实现了2倍的加速，同时保持了top-1和top-5精度。
• 2位量化方案仅导致top-1精度下降0.7%，表明其在低精度部署中具有高度可行性。
• 通过用查表操作替代MAC运算，该方法实现了在商品化物联网控制器上的高效推理。
• 低比特方案（4位、2位、1位）显著降低了计算复杂度，同时保持了模型的实用性。
• 局部量化区域方法通过适应局部数据分布，优于全局量化，从而更好地保持了精度。
• 该方法使大规模深度神经网络能够在低成本物联网设备上实现实际部署，且不牺牲性能。