[論文レビュー] Improving the accuracy of the fast inverse square root algorithm

Cezary J. Walczyk, Leonid Moroz+1 more|arXiv (Cornell University)|Feb 17, 2018

Numerical Methods and Algorithms参考文献 14被引用数 4

ひとこと要約

本稿では、単精度IEEE 754浮動小数点数のための高速逆平方根アルゴリズムの2つの改良版を提案する。ニュートン・ラプソン反復の係数を変更し、魔術定数を最適化することで、元のInvSqrtと比較して最大7倍も高い精度を達成した。計算コストはほぼ同一のままであり、浮動小数点演算ユニットを搭載しない組み込みシステムやFPGAに適している。

ABSTRACT

We present improved algorithms for fast calculation of the inverse square root for single-precision floating-point numbers. The algorithms are much more accurate than the famous fast inverse square root algorithm and have the same or similar computational cost. The main idea of our work consists in modifying the Newton-Raphson method and demanding that the maximal error is as small as possible. Such modification is possible when the distribution of Newton-Raphson corrections is not symmetric (e.g., if they are non-positive functions).

研究の動機と目的

• 計算コストの増加を最小限に抑えつつ、より高い精度の高速逆平方根アルゴリズムの変種を開発すること。
• 乗算回数を増やさずに、逆平方根近似の最大相対誤差を低減すること。
• 誤差分布と対称性の向上を図るため、魔術定数およびニュートン・ラプソン補正係数を最適化すること。
• 実装における浮動小数点精度と丸め誤差がアルゴリズムの精度に与える影響を評価すること。
• ハードウェアFPUを搭載しないシステムで使用可能な、解析的に導出され、数値的に安定した、元のInvSqrtの代替手法を提供すること。

提案手法

• 収束性の向上と誤差振幅の低減を図るため、調整された係数を導入したニュートン・ラプソン反復式を修正する。
• 初期近似段階における最大相対誤差を最小化する新たな魔術定数Rを導入する。
• 区間[1, 4)における逆平方根関数の解析的モデル化を用いて、初期推定値の区分的線形近似を導出する。
• スケーリング不変性の性質を適用し、x → 2⁻²ⁿxおよびyₖ → 2ⁿyₖ変換に対してアルゴリズムが不変となるように簡略化する。
• 32ビットおよび64ビット精度を用いた数値シミュレーションを実施し、誤差境界を比較し、浮動小数点丸めの影響を評価する。
• 2つの変種を提案する：InvSqrt1（やや高いコスト、理論的精度が優れる）およびInvSqrt2（元のInvSqrtと同一のコスト、誤差分布の改善によりほぼ同一の精度）。

実験結果

リサーチクエスチョン

• RQ1 計算効率を保ちながら、最大相対誤差を低減できるようにニュートン・ラプソン補正ステップを変更可能か？
• RQ2 初期近似における逆平方根の最悪ケース誤差を最小化する最適な魔術定数Rは何か？
• RQ3 単精度算術における丸め誤差は、修正されたアルゴリズムの理論的精度向上にどのように影響するか？
• RQ4 乗算回数を増やさずに、高速逆平方根の精度をどの程度向上できるか？
• RQ5 実際の浮動小数点実装において、新規アルゴリズムの誤差分布は元のInvSqrtと比べてどのように異なるか？

主な発見

• 1回のニュートン・ラプソン反復後、InvSqrt1は元のInvSqrtと比較して約2倍の精度を達成する。
• 2回の反復後、InvSqrt1は元のInvSqrtと比較して約7倍の精度向上を達成し、最大相対誤差は±6.53×10⁻⁷となる。
• InvSqrt2は元のInvSqrtと同一の計算コストであるが、最大相対誤差±6.53×10⁻⁷を達成しており、これはInvSqrt1と同等の精度である。数値実験ではわずかに高い丸め誤差を示すが、実用上は差異がない。
• InvSqrt1の理論的誤差境界は±6.805×10⁻⁸であり、元のInvSqrtの誤差境界と比較して約8倍小さい。
• 単精度算術における丸め誤差は、理論的改善を約10⁻⁷低下させる。特にInvSqrt1はInvSqrt2よりも影響を強く受ける。
• 提案されたアルゴリズムは、速度とリソース消費量が重要な組み込みシステムやFPGA（ハードウェアFPUを搭載しない環境）に特に適している。