[论文解读] Cheetah: Mixed Low-Precision Hardware & Software Co-Design Framework for DNNs on the Edge.

Hamed F. Langroudi, Zachariah Carmichael+2 more|arXiv (Cornell University)|Aug 6, 2019

Advanced Neural Network Applications参考文献 41被引用 18

一句话总结

Cheetah 是一种软硬件协同设计的混合精度框架，支持使用低精度格式（包括 posits、定点和浮点数）进行深度神经网络（DNN）的训练与推理。结果表明，16 位 posits 在 DNN 训练中优于 16 位浮点数，而 5–8 位 posits 在边缘设备上相较于等效的定点或浮点格式，实现了更优的性能与能效延迟积权衡。

ABSTRACT

Low-precision DNNs have been extensively explored in order to reduce the size of DNN models for edge devices. Recently, the posit numerical format has shown promise for DNN data representation and compute with ultra-low precision in [5..8]-bits. However, previous studies were limited to studying posit for DNN inference only. In this paper, we propose the Cheetah framework, which supports both DNN training and inference using posits, as well as other commonly used formats. Additionally, the framework is amenable for different quantization approaches and supports mixed-precision floating point and fixed-point numerical formats. Cheetah is evaluated on three datasets: MNIST, Fashion MNIST, and CIFAR-10. Results indicate that 16-bit posits outperform 16-bit floating point in DNN training. Furthermore, performing inference with [5..8]-bit posits improves the trade-off between performance and energy-delay-product over both [5..8]-bit float and fixed-point.

研究动机与目标

• 为填补当前低精度 DNN 框架在支持新兴数值格式（如 posits）进行训练与推理方面的空白。
• 评估不同数值格式（定点、浮点、posit）在不同字长和量化方法下的有效性。
• 比较不同量化方法（舍入与线性）对低精度 DNN 中精度与硬件复杂度的影响。
• 优化边缘设备部署 DNN 时的能效延迟积与推理精度权衡。
• 提供一个统一的协同设计框架，支持对边缘人工智能中数值格式与量化策略的系统性探索。

提出的方法

• Cheetah 将软件框架与硬件加速器（EMAC）集成，支持使用定点、浮点和 posit 格式的混合精度计算。
• 该框架支持两种量化方法：舍入与带移位操作的线性量化，实现灵活的精度控制。
• Posit 格式由字长（N）和指数位宽（es）参数化，评估中使用了 <8,1> 和 <5,1> 等配置。
• 基于 FPGA 的 EMAC 在 28nm 和 14nm 工艺节点上测量了硬件的能效延迟积与延迟。
• 框架在 MNIST、Fashion MNIST 和 CIFAR-10 数据集上，使用前馈与卷积神经网络对 DNN 进行评估。
• 通过对比分析不同数值格式与量化方法，测量了精度损失、能效延迟积与延迟。

实验结果

研究问题

• RQ1 与 16 位浮点数相比，posit 数值格式是否能实现更优的 DNN 训练性能？
• RQ2 在 DNN 推理中，5–8 位 posits 是否能实现优于 5–8 位定点与浮点格式的性能与能效延迟积权衡？
• RQ3 不同量化方法（舍入与线性）对各类数值格式的精度与硬件复杂度有何影响？
• RQ4 为最小化能效延迟积同时保持精度，最优的 posit 配置（如 <8,1> 与 <8,0>）是什么？
• RQ5 在不同数据集与 DNN 架构中，使用混合精度格式是否具有稳定的优势？

主要发现

• 16 位 posits 在 DNN 训练中优于 16 位浮点数，表明 posits 适用于低精度训练。
• 在 5–8 位推理中，es = 1 的 posits 平均精度比 es = 2 高 2%，比 es = 0 高 4%。
• es = 1 的 posits 相较于 es = 2 能效延迟积降低 2.1 倍，相较于 es = 0 降低 1.4 倍。
• 使用线性量化（es = 0）的 posits 与 es = 1 的精度相近，但能效延迟积降低 18%。
• 在所有数据集中，posit <8,1> 和 <5,1> 格式实现了最低的精度损失，优于等效的定点与浮点配置。
• 与 es = 2 和 es = 0 相比，Cheetah 实现了 1.4 倍的能效延迟积改进和 2.1 倍的能效延迟积降低，分别对应 es = 1 的 posit。