[논문 리뷰] Improving the accuracy of the fast inverse square root algorithm

Cezary J. Walczyk, Leonid Moroz외 1명|arXiv (Cornell University)|2018. 02. 17.

Numerical Methods and Algorithms참고 문헌 14인용 수 4

한 줄 요약

이 논문은 단정밀도 IEEE 754 부동소수점 수치를 위한 빠른 역제곱근 알고리즘의 개선된 두 가지 변종을 제안한다. 뉴턴-랩슨 반복 계수를 수정하고 마법 상수를 최적화함으로써, 새로운 알고리즘은 원래의 InvSqrt보다 최대 7배 더 높은 정확도를 달성하면서도 거의 동일한 계산 비용을 유지한다. 이는 하드웨어 FPU를 탑재하지 않은 임베디드 시스템과 FPGA에 적합하다.

ABSTRACT

We present improved algorithms for fast calculation of the inverse square root for single-precision floating-point numbers. The algorithms are much more accurate than the famous fast inverse square root algorithm and have the same or similar computational cost. The main idea of our work consists in modifying the Newton-Raphson method and demanding that the maximal error is as small as possible. Such modification is possible when the distribution of Newton-Raphson corrections is not symmetric (e.g., if they are non-positive functions).

연구 동기 및 목표

• 최소한의 계산 오버헤드로 더 정확한 빠른 역제곱근 알고리즘 변종을 개발하기 위해.
• 곱셈 횟수를 늘리지 않고도 역제곱근 근사의 최대 상대 오차를 줄이기 위해.
• 오차 분포와 대칭성을 향상시키기 위해 마법 상수와 뉴턴-랩슨 보정 계수를 최적화하기 위해.
• 실제 구현에서 부동소수점 정밀도와 반올림 오차가 알고리즘 정확도에 미치는 영향을 평가하기 위해.
• 하드웨어 FPU 지원이 없는 시스템에서 사용할 수 있는 분석적으로 유도된 수치적으로 안정적인 원래 InvSqrt의 대안을 제공하기 위해.

제안 방법

• 수렴성을 향상시키고 오차 진폭을 줄이기 위해 뉴턴-랩슨 반복 공식에 조정된 계수를 도입한다.
• 초기 근사 단계에서 최대 상대 오차를 최소화하는 새로운 마법 상수 R을 도입한다.
• 구간 [1, 4)에서 역제곱근 함수의 분석적 모델링을 통해 초기 추정치의 조각별 선형 근사를 유도한다.
• 스케일링 불변성 성질을 적용하여 분석을 단순화하고, x → 2⁻²ⁿx 및 yₖ → 2ⁿyₖ 변환에 대해 알고리즘이 불변임을 보장한다.
• 32비트 및 64비트 정밀도를 사용한 수치 시뮬레이션을 수행하여 오차 한계를 비교하고 부동소수점 반올림의 영향을 평가한다.
• 두 가지 변종을 제안한다: InvSqrt1(약간 더 높은 비용, 더 높은 이론적 정확도), InvSqrt2(원래와 동일한 비용, 근사 동일한 정확도이지만 오차 분포가 향상됨).

실험 결과

연구 질문

• RQ1 뉴턴-랩슨 보정 단계를 수정하여 최대 상대 오차를 줄이고 계산 효율성을 유지할 수 있는가?
• RQ2 초기 근사에서 최악의 오차를 최소화하는 최적의 마법 상수 R은 무엇인가?
• RQ3 단정밀도 산술에서 발생하는 반올림 오차는 수정된 알고리즘의 이론적 정확도 향상에 어떤 영향을 미치는가?
• RQ4 곱셈 횟수를 늘리지 않고도 빠른 역제곱근의 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 실제 부동소수점 구현에서 신규 알고리즘의 오차 분포는 원래 InvSqrt와 어떻게 비교되는가?

주요 결과

• InvSqrt1 변종은 뉴턴-랩슨 반복 한 번 후 원래 InvSqrt보다 약 2배 더 높은 정확도를 달성한다.
• 두 번의 반복 후 InvSqrt1은 원래 InvSqrt보다 약 7배 더 높은 정확도를 보이며, 최대 상대 오차는 ±6.53×10⁻⁷이다.
• InvSqrt2 변종은 원래 InvSqrt와 동일한 계산 비용을 유지하지만, 최대 상대 오차는 ±6.53×10⁻⁷로 InvSqrt1과 유사한 정확도를 달성한다. 수치 시험에서 약간 더 높은 반올림 오차가 관찰되지만, 영향은 미미하다.
• InvSqrt1의 이론적 오차 한계는 ±6.805×10⁻⁸이며, 원래 InvSqrt의 오차 한계보다 약 8배 작다.
• 단정밀도 산술에서의 반올림 오차는 이론적 향상 효과를 약 10⁻⁷ 정도 감소시키며, 이는 InvSqrt1에 비해 InvSqrt2에 더 적은 영향을 미친다.
• 제안된 알고리즘은 속도와 자원 소비가 중요한 하드웨어 FPU를 탑재하지 않은 임베디드 시스템과 FPGA에 특히 적합하다.