[논문 리뷰] Numerical stability analysis of the class of communication hiding pipelined Conjugate Gradient methods.

Siegfried Cools|arXiv (Cornell University)|2018. 04. 09.

Matrix Theory and Algorithms참고 문헌 32인용 수 1

한 줄 요약

이 논문은 고성능 계산(HPC)에서 통신 지연을 줄이기 위해 국소 계산과 글로벌 감소를 겹치는 파이프라인 Conjugate Gradient(CG) 방법의 수치적 안정성을 분석한다. 재귀적으로 계산된 변수에 대한 오차 갭 표현식을 유도하고, 반올림 오차가 수렴성과 정확도에 미치는 영향을 보여주며, 엑사스케일 호환 솔버에서 이러한 영향을 보정할 수 있는 프레임워크를 제공한다.

ABSTRACT

Krylov subspace methods are widely known as efficient algebraic methods for solving linear systems. However, on massively parallel hardware their performance is typically limited by communication latency rather than floating point performance. With HPC hardware advancing towards the exascale regime the gap between computation (i.e. flops) and communication (i.e. internode communication, as well as data movement within the memory hierarchy) keeps steadily increasing, imposing the need for scalable alternatives to traditional Krylov subspace methods. One such approach are pipelined Krylov subspace methods, which reduce the number of global synchronization points and overlap global communication latency with local arithmetic operations, thus `hiding' the global reduction phases behind useful computations. To obtain this overlap the algorithm is reformulated by introducing a number of auxiliary vector quantities, which are computed using additional recurrence relations. Although pipelined Krylov subspace methods are equivalent to traditional Krylov subspace methods in exact arithmetic, the behavior of local rounding errors induced by the multi-term recurrence relations in finite precision may in practice affect convergence significantly. This numerical stability study aims to characterize the effect of local rounding errors in various pipelined versions of the popular Conjugate Gradient method. We derive expressions for the gaps between the true and (recursively) computed variables that are used to update the search directions in the different CG variants. Furthermore, we show how these results can be used to analyze and correct the effect of local rounding error propagation on the maximal attainable accuracy of pipelined CG methods. The analysis in this work is supplemented by various numerical experiments that demonstrate the numerical stability of the pipelined CG methods.

연구 동기 및 목표

• 엑사스케일 HPC 시스템에서 부동소수점 연산과 통신 지연 간의 성능 격차가 점점 커지는 데 대응한다.
• 파이프라인 CG 방법에서 다항식 재귀 관계에 기인한 국소 반올림 오차가 수렴성과 정확도에 미치는 영향을 조사한다.
• 유한 정밀도 산술에 기인한 진짜 값과 계산된 값 간의 편차를 파이프라인 CG 변형에서 특성화한다.
• 반올림 오차 전파가 최대 달성 가능한 정밀도에 미치는 영향을 분석하고 보정하기 위한 이론적 프레임워크를 개발한다.
• 이론적 결과를 수치 실험을 통해 검증하여 다양한 파이프라인 CG 구현에서의 안정성을 입증한다.

제안 방법

• 다양한 파이프라인 CG 변형에서 검색 방향 업데이트에 사용되는 진짜 값과 재귀적으로 계산된 값 간의 갭에 대한 분석적 표현식을 유도한다.
• 파이프라인 Krylov 방법에 내재된 다항식 재귀 관계를 통해 국소 반올림 오차의 전파를 모델링한다.
• 정확한 산술 등가성을 사용하여 파이프라인 재구성에서 기인한 오직 유한 정밀도 계산에 의한 편차를 식별한다.
• 유도된 갭 표현식을 바탕으로 오차 보정 메커니즘을 제안하여 최대 달성 가능한 정밀도를 향상시킨다.
• 이론적 예측의 안정성과 수렴 행동을 검증하기 위해 수치 실험을 통해 파이프라인 CG 변형을 구현하고 테스트한다.

실험 결과

연구 질문

• RQ1 파이프라인 CG 방법의 다항식 재귀 관계는 어떻게 유한 정밀도에서 국소 반올림 오차를 증폭하는가?
• RQ2 반올림 오차로 인해 파이프라인 CG에서 진짜 값과 계산된 값 간의 정량적 관계는 어떻게 되는가?
• RQ3 이러한 반올림 오차는 파이프라인 CG의 수렴성과 최대 달성 가능한 정밀도를 어느 정도 악화시키는가?
• RQ4 유도된 오차 갭 표현식을 사용하여 유한 정밀도 산술이 해의 정확도에 미치는 영향을 예측하고 보정할 수 있는가?
• RQ5 다양한 파이프라인 CG 변형에서 수치 결과는 이론적 예측과 어떻게 비교되는가?

주요 결과

• 논문은 파이프라인 CG 방법에서 진짜 값과 재귀적으로 계산된 값 간의 갭에 대한 명시적 표현식을 유도하여, 유한 정밀도 산술의 영향을 정량화한다.
• 파이프라인 CG에서 반올림 오차는 재귀 관계를 통해 전파되며, 이는 수렴성과 최대 달성 가능한 정밀도를 상당히 악화시킬 수 있다.
• 유도된 오차 갭 표현식을 통해 알고리즘 내에서 오차 축적이 가장 두드러진 핵심 지점을 식별할 수 있다.
• 수치 실험은 이론적 예측을 확인하며, 오차 전파를 고려할 경우 안정적인 수렴 행동을 보임을 보여준다.
• 유도된 갭 모델을 기반으로 오차 보정 전략을 통합함으로써 더 견고한 파이프라인 Krylov 솔버 설계의 기초를 제공한다.