[论文解读] Improving the accuracy of the fast inverse square root algorithm

Cezary J. Walczyk, Leonid Moroz+1 more|arXiv (Cornell University)|Feb 17, 2018

Numerical Methods and Algorithms参考文献 14被引用 4

一句话总结

本文提出了两种针对单精度 IEEE 754 浮点数的快速平方根倒数算法的改进变体。通过调整牛顿-拉夫森迭代系数并优化魔术常数，新算法在保持几乎相同计算成本的同时，显著提升了精度——相比原始的 InvSqrt 算法，精度最高可提高 7 倍，适用于缺乏浮点单元的嵌入式系统和 FPGA。

ABSTRACT

We present improved algorithms for fast calculation of the inverse square root for single-precision floating-point numbers. The algorithms are much more accurate than the famous fast inverse square root algorithm and have the same or similar computational cost. The main idea of our work consists in modifying the Newton-Raphson method and demanding that the maximal error is as small as possible. Such modification is possible when the distribution of Newton-Raphson corrections is not symmetric (e.g., if they are non-positive functions).

研究动机与目标

• 开发具有最小计算开销的更精确的快速平方根倒数算法变体。
• 在不增加乘法次数的前提下，减少平方根倒数近似中的最大相对误差。
• 优化魔术常数和牛顿-拉夫森校正系数，以改善误差分布和对称性。
• 评估浮点精度和舍入误差对实际实现中算法精度的影响。
• 为缺乏硬件浮点协处理器支持的系统提供分析推导出的、数值稳定的原始 InvSqrt 替代方案。

提出的方法

• 通过引入调整后的系数修改牛顿-拉夫森迭代公式，以改善收敛性并降低误差振幅。
• 引入一个新的魔术常数 R，以最小化初始近似步骤中的最大相对误差。
• 利用区间 [1, 4) 上的平方根倒数函数的解析建模，推导出初始估计值的分段线性近似。
• 应用缩放不变性特性，简化分析，并确保在 x → 2⁻²ⁿx 和 yₖ → 2ⁿyₖ 变换下算法的不变性。
• 采用 32 位和 64 位精度的数值模拟，比较误差界并评估浮点舍入的影响。
• 提出两种变体：InvSqrt1（计算成本略高，理论精度更优）和 InvSqrt2（与原始算法计算成本相同，精度几乎相同，但误差分布更优）。

实验结果

研究问题

• RQ1 牛顿-拉夫森校正步骤是否可被修改，以在保持计算效率的同时降低最大相对误差？
• RQ2 最小化平方根倒数初始近似中最坏情况误差的最优魔术常数 R 是什么？
• RQ3 单精度算术中的舍入误差如何影响改进算法的理论精度提升？
• RQ4 在不增加乘法次数的前提下，快速平方根倒数的精度最多可提升多少？
• RQ5 在实际浮点实现中，新算法的误差分布与原始 InvSqrt 相比如何？

主要发现

• 经过一次牛顿-拉夫森迭代后，InvSqrt1 的精度约为原始 InvSqrt 的 2 倍。
• 经过两次迭代后，InvSqrt1 的精度相比原始 InvSqrt 提高了约 7 倍，最大相对误差为 ±6.53×10⁻⁷。
• InvSqrt2 的计算成本与原始 InvSqrt 相同，但最大相对误差同样为 ±6.53×10⁻⁷，与 InvSqrt1 相当，尽管在数值测试中其舍入误差略高。
• InvSqrt1 的理论误差界为 ±6.805×10⁻⁸，约为原始 InvSqrt 误差界的 1/8。
• 单精度算术中的舍入误差使理论改进幅度降低约 10⁻⁷，且对 InvSqrt1 的影响大于 InvSqrt2。
• 所提出的算法特别适用于缺乏硬件浮点协处理器支持的嵌入式系统和 FPGA，其中速度和低资源占用至关重要。