[논문 리뷰] Effects of round-to-nearest and stochastic rounding in the numerical solution of the heat equation in low precision

Matteo Croci, Michael B. Giles|arXiv (Cornell University)|2020. 10. 30.

Model Reduction and Neural Networks참고 문헌 38인용 수 11

한 줄 요약

이 논문은 열 방정식의 저해상도 수치적 해법에서 반올림 오차의 누적 현상을 라운드투니어스트(RtN) 및 스토하스틱 라운딩(SR)을 사용하여 분석한다. SR은 정체를 방지하고 1차원에서는 O(u∆t⁻¹ᐟ⁴)의 전역 반올림 오차를, 고차원에서는 본질적으로 유계인 오차를 제공하는 반면, RtN는 O(u∆t⁻¹)의 오차 증가와 후속 정체를 겪어, 저해상도 계산 환경에서 훨씬 더 강건함을 입증한다.

ABSTRACT

Motivated by the advent of machine learning, the last few years have seen the return of hardware-supported low-precision computing. Computations with fewer digits are faster and more memory and energy efficient, but can be extremely susceptible to rounding errors. As shown by recent studies into reduced-precision climate simulations, an application that can largely benefit from the advantages of low-precision computing is the numerical solution of partial differential equations (PDEs). However, a careful implementation and rounding error analysis are required to ensure that sensible results can still be obtained. In this paper we study the accumulation of rounding errors in the solution of the heat equation, a proxy for parabolic PDEs, via Runge-Kutta finite difference methods using round-to-nearest (RtN) and stochastic rounding (SR). We demonstrate how to implement the scheme to reduce rounding errors and we derive \emph{a priori} estimates for local and global rounding errors. Let $u$ be the unit roundoff. While the worst-case local errors are $O(u)$ with respect to the discretization parameters (mesh size and timestep), the RtN and SR error behavior is substantially different. In fact, the RtN solution always stagnates for small enough $\Delta t$, and until stagnation the global error grows like $O(u\Delta t^{-1})$. In contrast, we show that the leading-order errors introduced by SR are zero-mean, independent in space and mean-independent in time, making SR resilient to stagnation and rounding error accumulation. In fact, we prove that for SR the global rounding errors are only $O(u\Delta t^{-1/4})$ in 1D and are essentially bounded (up to logarithmic factors) in higher dimensions.

연구 동기 및 목표

• 열 방정식의 저해상도 수치적 해법에서 반올림 오차가 어떻게 누적되는지 분석하는 것.
• 유한차분 스킴에서 라운드투니어스트(RtN)와 스토하스틱 라운딩(SR)의 행동을 비교하는 것.
• SR이 정체를 방지하고 저해상도 환경에서 더 정확한 해를 가능하게 함을 입증하는 것.
• 두 반올림 모드 하에서 국소 및 전역 반올림 오차에 대한 사전 오차 한계를 유도하는 것.
• 저해상도 환경에서 고차수 룬게쿠타 방법이 오차 포화 또는 붕괴로 인해 유의미한 이점을 제공하지 못하므로, 1차 방법보다 유의미한 이점이 없음을 보여주는 것.

제안 방법

• 공간에 대해 2차 유한차분 스킴을, 시간에 대해 임의의 룬게쿠타 방법을 사용한다.
• 반올림 오차 누적을 최소화하기 위해 시간적 진행을 델타 형태로 구현한다.
• 확률적 및 결정론적 오차 한계를 사용하여 국소 및 전역 반올림 오차를 분석한다.
• RtN 및 SR 하에서 반올림 오차에 대한 사전 추정치를 유도하며, SR 오차가 평균이 0이고 상관성이 없음을 보여준다.
• 이론적 분석을 통해 1D에서 SR의 전역 오차가 O(u∆t⁻¹ᐟ⁴)로 증가하고 고차원에서는 로그 인자까지 고려하여 유계임을 증명한다.
• 다양한 RK 방법과 시간 간격을 사용하여 1D, 2D, 3D에서의 수치 실험을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 라운드투니어스트와 스토하스틱 라운딩은 열 방정식의 저해상도 해법에서 전역 반올림 오차 성장에 어떻게 영향을 미치는가?
• RQ2 왜 스토하스틱 라운딩은 라운드투니어스트가 실패하는 정체를 방지하는가?
• RQ3 두 반올림 모드에 대해 국소 및 전역 반올림 오차의 이론적 한계는 무엇인가?
• RQ4 룬게쿠타 방법의 차수는 저해상도 환경에서 어떤 이점을 제공하는가?
• RQ5 선형 시스템의 조건수는 암시적 시간 적분에서 전역 오차에 어떤 영향을 미치는가?

주요 결과

• 스토하스틱 라운딩은 작은 덧셈이 손실되지 않도록 보장함으로써 정체를 방지한다. 반면 라운드투니어스트에서는 그렇지 않다.
• 스토하스틱 라운딩을 사용할 경우 1차원에서는 전역 반올림 오차가 O(u∆t⁻¹ᐟ⁴)로 증가하고 고차원에서는 본질적으로 유계이다.
• 라운드투니어스트는 정체가 발생할 때까지 O(u∆t⁻¹)의 전역 오차 증가를 보이며, 이후 해는 초기 조건으로 수렴한다.
• 수치 실험을 통해 SR 오차는 εn 항에 의해 지배되며 이론적 하한에 매우 가까이 유지됨을 확인하였다.
• 백워드 오일러와 같은 암시적 방법에서 선형 시스템의 조건수가 u⁻¹를 초과하면 전역 오차가 급격히 증가하여 큰 시간 간격의 이점을 제한한다.
• 저해상도 환경에서 고차수 룬게쿠타 방법은 오차 포화 또는 붕괴로 인해 정확도 향상이 없으며, 1차 방법보다 유의미한 이점이 없음을 시사한다.