[論文レビュー] Effects of round-to-nearest and stochastic rounding in the numerical solution of the heat equation in low precision

Matteo Croci, Michael B. Giles|arXiv (Cornell University)|Oct 30, 2020

Model Reduction and Neural Networks参考文献 38被引用数 11

ひとこと要約

本稿では、熱方程式の低精度数値解法における丸め誤差の蓄積を、最近傍丸め（RtN）と確率的丸め（SR）を用いて分析する。SRは停滞を防ぎ、1次元ではグローバル丸め誤差がO(u∆t⁻¹ᐟ⁴)、高次元では本質的に有界であるのに対し、RtNはO(u∆t⁻¹)の誤差増大を示し、最終的に停滞に至るため、低精度計算においてSRははるかに頑健であることが示された。

ABSTRACT

Motivated by the advent of machine learning, the last few years have seen the return of hardware-supported low-precision computing. Computations with fewer digits are faster and more memory and energy efficient, but can be extremely susceptible to rounding errors. As shown by recent studies into reduced-precision climate simulations, an application that can largely benefit from the advantages of low-precision computing is the numerical solution of partial differential equations (PDEs). However, a careful implementation and rounding error analysis are required to ensure that sensible results can still be obtained. In this paper we study the accumulation of rounding errors in the solution of the heat equation, a proxy for parabolic PDEs, via Runge-Kutta finite difference methods using round-to-nearest (RtN) and stochastic rounding (SR). We demonstrate how to implement the scheme to reduce rounding errors and we derive \emph{a priori} estimates for local and global rounding errors. Let $u$ be the unit roundoff. While the worst-case local errors are $O(u)$ with respect to the discretization parameters (mesh size and timestep), the RtN and SR error behavior is substantially different. In fact, the RtN solution always stagnates for small enough $\Delta t$, and until stagnation the global error grows like $O(u\Delta t^{-1})$. In contrast, we show that the leading-order errors introduced by SR are zero-mean, independent in space and mean-independent in time, making SR resilient to stagnation and rounding error accumulation. In fact, we prove that for SR the global rounding errors are only $O(u\Delta t^{-1/4})$ in 1D and are essentially bounded (up to logarithmic factors) in higher dimensions.

研究の動機と目的

• 熱方程式の低精度数値解法における丸め誤差の蓄積を分析すること。
• 有限差分スキームにおける最近傍丸め（RtN）と確率的丸め（SR）の挙動を比較すること。
• SRが停滞を防ぎ、低精度計算においてより正確な解を得ることを示すこと。
• 両丸めモード下での局所的およびグローバル丸め誤差の事前誤差境界を導出すること。
• 高次ランゲ＝クッタ法が低精度環境では誤差の飽和または発散のため、顕著な利点を提供しないことを示すこと。

提案手法

• 空間方向に2次精度の有限差分スキーム、時間方向に任意のランゲ＝クッタ法を用いる。
• 丸め誤差の蓄積を最小限に抑えるために、時刻ステッピングをデルタ形式で実装する。
• 確率的および決定的誤差境界を用いて、局所的およびグローバル丸め誤差を分析する。
• RtNおよびSR下での丸め誤差の事前推定を導出し、SR誤差がゼロ平均かつ無相関であることを示す。
• 理論的分析により、SRのグローバル誤差が1次元ではO(u∆t⁻¹ᐟ⁴)の割合で増大し、高次元では対数的要因を除き有界であることを証明する。
• さまざまなRK法および時間刻みを用いた1次元、2次元、3次元の数値実験により、結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 最近傍丸めと確率的丸めは、熱方程式の低精度解法におけるグローバル丸め誤差の増大にどのように影響するか？
• RQ2 なぜ確率的丸めは最近傍丸めが失敗する場所で停滞を防ぐのか？
• RQ3 両丸めモードにおける局所的およびグローバル丸め誤差の理論的境界は何か？
• RQ4 ランゲ＝クッタ法の次数は、低精度環境で何らかの利点を提供するか？
• RQ5 線形方程式系の条件数が、陰的時間積分におけるグローバル誤差にどのように影響するか？

主な発見

• 確率的丸めは、小さな加算が失われるのを防ぐことで、停滞を回避する。
• 確率的丸めでは、1次元でグローバル丸め誤差がO(u∆t⁻¹ᐟ⁴)の割合で増大し、高次元では本質的に有界である。
• 最近傍丸めでは、グローバル誤差がO(u∆t⁻¹)の割合で増大し、停滞に至ると解が初期条件に収束する。
• 数値実験により、SR誤差はεn項に支配され、理論的下限に近いままであることが確認された。
• 後退オイラーなどの陰的スキームでは、線形方程式系の条件数がu⁻¹を超えると、グローバル誤差が著しく増大し、大きな時間刻みの利点が制限される。
• 高次ランゲ＝クッタ法は、誤差の飽和または発散のため、低精度環境では精度向上に寄与せず、1次精度法と比較して顕著な利点がないことが示唆された。