[论文解读] A Survey of Numerical Methods Utilizing Mixed Precision Arithmetic

Ahmad Abdelfattah, Hartwig Anzt+23 more|arXiv (Cornell University)|Jul 13, 2020

Numerical Methods and Algorithms参考文献 94被引用 24

一句话总结

本综述整合了利用混合精度算术（特别是NVIDIA Tensor Cores等低精度硬件）加速科学计算的最先进数值方法。研究表明，将低精度计算与高精度修正技术结合，可在保持数值精度的同时实现显著的性能提升——最高达10倍加速，尤其在密集和稀疏线性代数、Krylov求解器及预条件化方面表现突出。

ABSTRACT

Within the past years, hardware vendors have started designing low precision special function units in response to the demand of the Machine Learning community and their demand for high compute power in low precision formats. Also the server-line products are increasingly featuring low-precision special function units, such as the NVIDIA tensor cores in ORNL's Summit supercomputer providing more than an order of magnitude higher performance than what is available in IEEE double precision. At the same time, the gap between the compute power on the one hand and the memory bandwidth on the other hand keeps increasing, making data access and communication prohibitively expensive compared to arithmetic operations. To start the multiprecision focus effort, we survey the numerical linear algebra community and summarize all existing multiprecision knowledge, expertise, and software capabilities in this landscape analysis report. We also include current efforts and preliminary results that may not yet be considered "mature technology," but have the potential to grow into production quality within the multiprecision focus effort. As we expect the reader to be familiar with the basics of numerical linear algebra, we refrain from providing a detailed background on the algorithms themselves but focus on how mixed- and multiprecision technology can help improving the performance of these methods and present highlights of application significantly outperforming the traditional fixed precision methods.

研究动机与目标

• 分析并整合科学计算领域中混合精度数值算法的现有知识。
• 识别并评估具有在百亿亿次级系统中投入生产使用潜力的新兴多精度技术。
• 弥合低精度算术硬件进步与数值线性代数软件算法设计之间的差距。
• 为百亿亿次计算计划提供指导，以开发稳健、可移植且高效的多精度算法。

提出的方法

• 调研现有数值线性代数算法，并利用低精度算术单元将其适配为混合精度执行。
• 采用迭代修正策略，如经典迭代修正和GMRES-IR，通过高精度校正低精度解。
• 引入量化整数LU分解及混合精度Cholesky与分解方法，以减少数据移动并提升性能。
• 设计数据压缩与通信技术，包括混合精度MPI和近似FFT，以缓解带宽瓶颈。
• 利用概率舍入误差分析为低精度计算提供理论保证。
• 通过基于模板的标量类型和运行时精度控制，将多精度功能集成到PETSc、Trilinos、Ginkgo和hypre等主流HPC软件栈中。

实验结果

研究问题

• RQ1 如何有效将混合精度算术应用于密集和稀疏线性代数问题，以提升性能而不损失精度？
• RQ2 在使用低精度算术时，哪些算法策略——如迭代修正或预条件化——最能有效保持精度？
• RQ3 在分布式内存系统中，如何减少多精度算法中的数据压缩与通信开销？
• RQ4 概率舍入误差分析在低精度数值计算中的理论与实际限制是什么？
• RQ5 如何扩展现有HPC软件框架，以原生支持混合精度计算，且性能或可移植性损失最小？

主要发现

• 使用Tensor Cores的混合精度GEMM（HGEMM）在Summit系统上相比双精度GEMM实现超过10倍的加速。
• 采用半精度矩阵-向量乘积与双精度修正的GMRES-IR，收敛速度与全双精度GMRES相当，同时获得显著性能提升。
• 量化整数LU分解减少了内存流量，实现了更快的分解速度，尤其适用于结构化矩阵。
• 概率舍入误差分析表明，误差界增长为√(n log n)而非nu，从而支持大规模稳定低精度计算。
• 将混合精度支持集成到PETSc、Trilinos和Ginkgo中，实现了灵活且高性能的求解器，且代码修改极少。
• 具有动态分割与精度控制的近似FFT可在保持可接受误差水平的同时，实现谱方法的加速。