[论文解读] EFloat: Entropy-coded Floating Point Format for Deep Learning.

Rajesh Bordawekar, Bülent Abali+1 more|arXiv (Cornell University)|Feb 4, 2021

Numerical Methods and Algorithms参考文献 42被引用 4

一句话总结

EFloat 是一种新颖的浮点数格式，通过熵编码频繁出现的指数值和符号，减少平均指数字段宽度，从而释放更多位用于提高尾数精度。该方法在标准格式（如 FP32、BFloat16 和 8 位浮点数）基础上，实现了 4–6 位的有效精度提升，使低精度深度学习模型在减少内存使用的同时获得更高精度。

ABSTRACT

We describe the EFloat floating-point number format with 4 to 6 additional bits of precision and a wider exponent range than the existing floating point (FP) formats of any width including FP32, BFloat16, IEEE-Half precision, DLFloat, TensorFloat, and 8-bit floats. In a large class of deep learning models we observe that FP exponent values tend to cluster around few unique values which presents entropy encoding opportunities. The EFloat format encodes frequent exponent values and signs with Huffman codes to minimize the average exponent field width. Saved bits then become available to the mantissa increasing the EFloat numeric precision on average by 4 to 6 bits compared to other FP formats of equal width. The proposed encoding concept may be beneficial to low-precision formats including 8-bit floats. Training deep learning models with low precision arithmetic is challenging. EFloat, with its increased precision may provide an opportunity for those tasks as well. We currently use the EFloat format for compressing and saving memory used in large NLP deep learning models. A potential hardware implementation for improving PCIe and memory bandwidth limitations of AI accelerators is also discussed.

研究动机与目标

• 通过设计更高效的浮点数格式，解决大规模深度学习模型中的内存和带宽瓶颈。
• 利用深度学习工作负载中指数值的熵分布特性，其中某些指数值远比其他值更频繁出现。
• 在不增加位宽的前提下，通过指数和符号的熵编码，提升低精度格式（如 8 位、16 位）的有效精度。
• 通过提升精度以减少量化误差，实现低精度深度学习中更准确的训练与推理。
• 为压缩和存储大型 NLP 模型权重提供一种实用格式，实现极小的精度损失。

提出的方法

• EFloat 格式使用霍夫曼编码对最频繁出现的指数值和符号组合进行编码，降低其表示成本。
• 通过为高频指数和符号模式分配更短的编码，使指数字段的平均宽度低于标准浮点数格式。
• 从压缩后的指数字段中节省的位被重新分配给尾数，平均使有效精度提升 4–6 位。
• 该格式设计为与现有深度学习框架和硬件兼容，支持在模型压缩和内存节省场景中的部署。
• 该方法应用于相同宽度的现有浮点数格式（如 FP32、BFloat16 和 8 位浮点数），在不增加位宽的前提下提升其精度。
• 提出了一种潜在的硬件实现方案，通过减少数据移动，缓解 AI 加速器中 PCIe 和内存带宽的限制。

实验结果

研究问题

• RQ1 在浮点数格式中对指数值和符号进行熵编码，是否能减少平均字段宽度并释放位用于提升尾数精度？
• RQ2 EFloat 相较于标准低精度格式（如 BFloat16 和 8 位浮点数），在多大程度上提升了有效精度？
• RQ3 在真实世界深度学习工作负载中，特别是在大型 NLP 模型中，EFloat 在内存压缩和精度方面表现如何？
• RQ4 EFloat 对 AI 加速器中的内存带宽和数据移动可能产生何种影响？
• RQ5 通过减少量化误差，EFloat 是否能实现低精度深度学习中更准确的训练？

主要发现

• 与相同宽度的标准浮点数格式（如 FP32 和 BFloat16）相比，EFloat 平均实现了 4–6 位额外的有效精度。
• 通过利用深度学习工作负载中某些指数值的高频率特性，该格式减少了平均指数字段宽度，实现了位宽节省。
• 节省的位被重新分配给尾数，从而在不增加总位宽的前提下提升了数值精度。
• EFloat 有助于实现更精确的模型压缩与存储，尤其对内存需求高的大型 NLP 模型具有显著优势。
• 该格式通过降低数据移动量，减轻内存带宽压力，展现出在硬件加速方面的潜力。
• 熵编码方法适用于 8 位浮点数及其他低精度格式，扩展了其在新兴低精度 AI 工作负载中的适用性。