[论文解读] Deep Convolutional Neural Network Inference with Floating-point Weights and Fixed-point Activations

Liangzhen Lai, Naveen Suda+1 more|arXiv (Cornell University)|Mar 8, 2017

Advanced Neural Network Applications参考文献 20被引用 84

一句话总结

本文提出在 CNN 推理中使用浮点权重和定点激活来减少权重存储和硬件乘法器功耗，并在 AlexNet、SqueezeNet、GoogLeNet 与 VGG-16 上给出实证结果。

ABSTRACT

Deep convolutional neural network (CNN) inference requires significant amount of memory and computation, which limits its deployment on embedded devices. To alleviate these problems to some extent, prior research utilize low precision fixed-point numbers to represent the CNN weights and activations. However, the minimum required data precision of fixed-point weights varies across different networks and also across different layers of the same network. In this work, we propose using floating-point numbers for representing the weights and fixed-point numbers for representing the activations. We show that using floating-point representation for weights is more efficient than fixed-point representation for the same bit-width and demonstrate it on popular large-scale CNNs such as AlexNet, SqueezeNet, GoogLeNet and VGG-16. We also show that such a representation scheme enables compact hardware multiply-and-accumulate (MAC) unit design. Experimental results show that the proposed scheme reduces the weight storage by up to 36% and power consumption of the hardware multiplier by up to 50%.

研究动机与目标

• 动机：在嵌入式设备上减少 CNN 推理的内存和计算。
• 研究一种混合数字表示方案（浮点权重，定点激活）以提高效率。
• 展示在流行 CNN 中，定点权重与浮点权重在表示范围与精度之间的权衡。
• 展示所提方案在硬件上的影响及潜在的面积/功耗收益。

提出的方法

• 在基于 Caffe 的流程中，将预训练的 CNN 权重量化为浮点数，激活量化为定点。
• 在 AlexNet、SqueezeNet、GoogLeNet、VGG-16 上，在不同权重表示下评估网络准确性。
• 分析表示范围与精度在决定推理准确性方面的作用。
• 提出一种硬件友好的数据路径，在 MAC 运算中使用一个浮点数和一个定点数操作数。

实验结果

研究问题

• RQ1 在主流体系结构中，将 CNN 权重表示为浮点数、激活表示为定点数对推理精度的影响如何？
• RQ2 在使用低精度权重时，表示范围是否是导致精度损失的主导因素，浮点权重是否能在跨网络提供更一致的表示范围？
• RQ3 混合浮点/定点 MAC 单元在 CNN 推理中的潜在硬件面积和功耗收益是什么？
• RQ4 在所研究的网络中，定点激活格式是否可在实现高效硬件的同时达到与定点权重相当的精度？

主要发现

• 以浮点表示的权重在同等位宽下，能在多种网络中获得与定点相似或更好的范围/精度权衡。
• 所提方案在硬件实现中，权重存储减少最多 36%，乘法功耗减少最多 50%。
• 以浮点权重、定点激活实现的定点乘累加路径具有硬件友好性。
• 具有适度指数的浮点权重（例如 4-bit）可在若干网络上接近满精度，而定点权重范围需要更多比特才能达到类似精度。
• 在许多情况下，准确性行为更强地依赖于表示范围（指数）而非尾数精度。