[论文解读] Effects of round-to-nearest and stochastic rounding in the numerical solution of the heat equation in low precision

Matteo Croci, Michael B. Giles|arXiv (Cornell University)|Oct 30, 2020

Model Reduction and Neural Networks参考文献 38被引用 11

一句话总结

本文分析了在低精度数值求解热方程时，使用四舍五入到最近（RtN）和随机舍入（SR）的舍入误差累积问题。结果表明，SR可防止停滞现象，并在1D中实现全局舍入误差为O(u∆t⁻¹ᐟ⁴)，在更高维度中基本有界；而RtN则表现出O(u∆t⁻¹)的误差增长并最终导致停滞，因此在低精度计算中SR具有显著更强的鲁棒性。

ABSTRACT

Motivated by the advent of machine learning, the last few years have seen the return of hardware-supported low-precision computing. Computations with fewer digits are faster and more memory and energy efficient, but can be extremely susceptible to rounding errors. As shown by recent studies into reduced-precision climate simulations, an application that can largely benefit from the advantages of low-precision computing is the numerical solution of partial differential equations (PDEs). However, a careful implementation and rounding error analysis are required to ensure that sensible results can still be obtained. In this paper we study the accumulation of rounding errors in the solution of the heat equation, a proxy for parabolic PDEs, via Runge-Kutta finite difference methods using round-to-nearest (RtN) and stochastic rounding (SR). We demonstrate how to implement the scheme to reduce rounding errors and we derive \emph{a priori} estimates for local and global rounding errors. Let $u$ be the unit roundoff. While the worst-case local errors are $O(u)$ with respect to the discretization parameters (mesh size and timestep), the RtN and SR error behavior is substantially different. In fact, the RtN solution always stagnates for small enough $\Delta t$, and until stagnation the global error grows like $O(u\Delta t^{-1})$. In contrast, we show that the leading-order errors introduced by SR are zero-mean, independent in space and mean-independent in time, making SR resilient to stagnation and rounding error accumulation. In fact, we prove that for SR the global rounding errors are only $O(u\Delta t^{-1/4})$ in 1D and are essentially bounded (up to logarithmic factors) in higher dimensions.

研究动机与目标

• 分析低精度数值求解热方程过程中舍入误差的累积机制。
• 比较四舍五入到最近（RtN）与随机舍入（SR）在有限差分格式中的行为表现。
• 证明SR可防止停滞现象，并在低精度计算中实现更精确的解。
• 为两种舍入模式下的局部与全局舍入误差推导先验误差界。
• 表明在低精度环境下，高阶Runge-Kutta方法因误差饱和或发散而无法提供显著优势。

提出的方法

• 空间采用二阶有限差分格式，时间方向采用任意Runge-Kutta方法。
• 以增量形式实现时间推进格式，以最小化舍入误差的累积。
• 利用概率与确定性误差界分析局部与全局舍入误差。
• 推导RtN与SR下舍入误差的先验估计，表明SR的误差为零均值且不相关。
• 通过理论分析证明：SR的全局误差在1D中以O(u∆t⁻¹ᐟ⁴)增长，而在更高维度中受对数因子影响基本有界。
• 通过1D、2D和3D的数值实验验证结果，采用多种RK方法与时间步长。

实验结果

研究问题

• RQ1 四舍五入到最近与随机舍入在低精度求解热方程时，对全局舍入误差增长有何影响？
• RQ2 为何随机舍入能防止停滞，而四舍五入却不能？
• RQ3 两种舍入模式下，局部与全局舍入误差的理论界是什么？
• RQ4 在低精度环境下，Runge-Kutta方法的阶数是否具有优势？
• RQ5 线性系统的条件数如何影响隐式时间积分中的全局误差？

主要发现

• 随机舍入通过确保微小加法不被忽略，从而防止了停滞现象，而四舍五入到最近则无法做到这一点。
• 采用随机舍入时，1D中全局舍入误差以O(u∆t⁻¹ᐟ⁴)增长，而在更高维度中基本有界。
• 四舍五入到最近表现出O(u∆t⁻¹)的全局误差增长，直至停滞发生，之后解会收敛至初始条件。
• 数值实验表明，SR的误差主要由εn项主导，且始终接近理论下界。
• 在隐式方法（如后向欧拉法）中，当线性系统的条件数超过u⁻¹时，全局误差会急剧增加，从而限制了大时间步长的优势。
• 高阶Runge-Kutta方法在低精度环境下无法提升精度，因存在误差饱和或发散现象，表明其相对于一阶方法的收益有限。