[论文解读] Rethinking Floating Point Overheads for Mixed Precision DNN Accelerators

Hamzah Abdel-Aziz, Ali Shafiee+3 more|arXiv (Cornell University)|Jan 27, 2021

Particle accelerators and beam dynamics参考文献 65被引用 7

一句话总结

本文提出一种混合精度卷积单元，通过利用低比特整数运算的时间分解，以极低的硬件开销高效支持 FP16 算术运算。通过观察到实际应用中指数差最多仅为 8 位，作者降低了对齐逻辑的复杂度，与传统设计相比，实现高达 46% 的 TOPS/mm² 提升和 63% 的 TOPS/W 效率改进。

ABSTRACT

In this paper, we propose a mixed-precision convolution unit architecture which supports different integer and floating point (FP) precisions. The proposed architecture is based on low-bit inner product units and realizes higher precision based on temporal decomposition. We illustrate how to integrate FP computations on integer-based architecture and evaluate overheads incurred by FP arithmetic support. We argue that alignment and addition overhead for FP inner product can be significant since the maximum exponent difference could be up to 58 bits, which results into a large alignment logic. To address this issue, we illustrate empirically that no more than 26-bitproduct bits are required and up to 8-bit of alignment is sufficient in most inference cases. We present novel optimizations based on the above observations to reduce the FP arithmetic hardware overheads. Our empirical results, based on simulation and hardware implementation, show significant reduction in FP16 overhead. Over typical mixed precision implementation, the proposed architecture achieves area improvements of up to 25% in TFLOPS/mm2and up to 46% in TOPS/mm2with power efficiency improvements of up to 40% in TFLOPS/Wand up to 63% in TOPS/W.

研究动机与目标

• 解决在基于低精度整数的 DNN 加速器中支持 FP16 算术运算所带来的高硬件开销问题。
• 识别实际 DNN 推理工作负载中指数差的实际动态范围。
• 在不牺牲精度的前提下，最小化 FP16 内积单元中的对齐与加法逻辑开销。
• 通过降低 INT4 优化架构中 FP16 支持的成本，实现高效的混合精度推理。
• 通过选择性使用 FP16，实现 DNN 加速器在保持 FP32 级精度的同时提升面积与功耗效率。

提出的方法

• 设计一种基于低比特（如 INT4）内积单元的卷积单元，通过时间分解支持更高精度运算。
• 以 4 位细粒度运算作为基础单元，通过时间累积模拟更高精度运算。
• 通过分析真实 DNN 工作负载，观察到最大指数差通常不超过 8 位，从而实现减小宽度的对齐单元。
• 将加法树精度优化为匹配观测到的 8 位对齐范围，而非理论上的 58 位最大值。
• 通过重用现有低精度乘法器与累加器逻辑，在整数架构中以极小的面积与功耗开销集成 FP16 支持。
• 通过仿真与硬件实现验证设计，测量面积、功耗与性能的提升效果。

实验结果

研究问题

• RQ1 在典型 DNN 推理工作负载中，FP16 乘积之间的实际指数差动态范围是多少？
• RQ2 在实际应用中，FP16 内积运算真正需要多少对齐逻辑？
• RQ3 能否在低精度整数架构中高效支持 FP16 算术运算，而不会带来过高的面积与功耗开销？
• RQ4 时间分解能在多大程度上降低支持混合精度运算的硬件成本？
• RQ5 在 INT4 优化架构中最小化 FP16 支持逻辑时，性能与效率的提升程度如何？

主要发现

• 在真实 DNN 工作负载中，FP16 乘积之间的最大指数差通常小于 8 位，与理论上的 58 位最大值相反。
• FP16 运算仅需最多 26 位乘积位，允许在中间计算中降低精度。
• 所提出的架构将 FP16 对齐逻辑缩减为 8 位移位单元，显著降低了面积与功耗开销。
• 与标准混合精度实现相比，该设计在 TFLOPS/mm² 上实现最高 25% 的提升，在 TOPS/mm² 上实现最高 46% 的提升。
• 在 TFLOPS/W 上能效提升最高达 40%，在 TOPS/W 上提升最高达 63%，展现出显著的能效节省。
• 这些优化与分解方案正交，可同时应用于时间与空间融合方法。