[논문 리뷰] Numerical analysis of the maximal attainable accuracy in communication hiding pipelined Conjugate Gradient methods

Siegfried Cools|arXiv (Cornell University)|2018. 04. 09.

Matrix Theory and Algorithms참고 문헌 34인용 수 3

한 줄 요약

이 논문은 고성능 계산(HPC)에서 전역적 통신을 국소 계산과 겹쳐서 통신 지연을 줄이는 파이프라인형 공액 경사법(pipelined Conjugate Gradient, CG)에서 도달 가능한 최대 정확도를 분석한다. 다항식 재귀 관계의 오차 전파 경계를 유도하여, ℓ ≥ 3인 p(ℓ)-CG가 후방 오차 ≤ 1e-12를 달성할 수 있음을 보이고, 낮은 ℓ 값의 변종은 반올림 오차의 증폭으로 인해 실패함을 밝힌다.

ABSTRACT

Krylov subspace methods are widely known as efficient algebraic methods for solving large scale linear systems. However, on massively parallel hardware the performance of these methods is typically limited by communication latency rather than floating point performance. With HPC hardware advancing towards the exascale regime the gap between computation and communication keeps steadily increasing, imposing the need for scalable alternatives to traditional Krylov subspace methods. One such approach are the so-called pipelined Krylov subspace methods, which reduce the number of global synchronization points and overlap global communication latency with local arithmetic operations, thus hiding the global reduction phases behind useful computations. To obtain this overlap the traditional Krylov subspace algorithm is reformulated by introducing a number of auxiliary vector quantities, which are computed using additional recurrence relations. Although pipelined Krylov subspace methods are equivalent to traditional Krylov subspace methods in exact arithmetic, local rounding errors induced by the multi-term recurrence relations in finite precision may in practice affect convergence significantly. This numerical stability study aims to characterize the effect of local rounding errors on attainable accuracy in various pipelined versions of the popular Conjugate Gradient method. Expressions for the gaps between the true and recursively computed variables that are used to update the search directions in the different CG variants are derived. Furthermore, it is shown how these results can be used to analyze and correct the effect of local rounding error propagation on the maximal attainable accuracy of pipelined CG methods. The analysis in this work is supplemented by numerical experiments that demonstrate the numerical behavior of the pipelined CG methods.

연구 동기 및 목표

• 파이프라인형 케일로프 부분공간 방법에서 국소 반올림 오차가 도달 가능한 최대 정확도에 미치는 영향을 조사하는 것.
• 파이프라인형 CG(p-CG 및 p(ℓ)-CG)의 다항식 재귀 관계가 유한 정밀도 산술에서 반올림 오차를 어떻게 증폭시키는지 분석하는 것.
• 파이프라인 깊이 ℓ와 케일로프 기저의 구조에 따라 의존하는 오차 전파에 대한 실용적 경계를 유도하는 것.
• 계산 효율성을 희생시키며 정확도를 향상시키기 위해 오차 증폭을 줄이는 조치를 제안하는 것.
• PETSc에서 재현 가능한 실험을 통해 파이프라인형 CG 변종의 수치적 행동을 시연하는 것.

제안 방법

• p-CG 및 p(ℓ)-CG에서 진짜 값과 재귀적으로 계산된 변수 간의 격차를 유도하며, 주로 탐색 방향 갱신에 초점을 맞춘다.
• 유한 정밀도 분석을 사용하여, 파이프라인 알고리즘 내 다항식 재귀 관계를 통해 반올림 오차가 어떻게 전파되는지 모델링한다.
• 파이프라인 깊이 ℓ와 케일로프 기저의 조건수에 따라 오차 증폭의 이론적 경계를 설정한다.
• 재귀 관계를 수정함으로써 계산 비용을 증가시키며 정확도를 향상시키는 안정화 전략을 제안한다.
• PETSc에서 C 구현을 사용한 수치 실험을 통해 결과를 검증하며, 다양한 변종 간 수렴 및 잔여 오차 감소를 비교한다.
• 특히 엑사스케일 HPC 워크로드 맥락에서 최대 도달 가능한 정확도를 평가하는 데 후방 오차를 지표로 삼는다.

실험 결과

연구 질문

• RQ1 다항식 재귀 관계에서 유래하는 국소 반올림 오차가 파이프라인형 CG 방법에서 도달 가능한 최대 정확도에 어떻게 영향을 미치는가?
• RQ2 파이프라인 깊이 ℓ가 p(ℓ)-CG의 오차 증폭 및 수렴 행동에 미치는 영향은 무엇인가?
• RQ3 왜 p(1)-CG와 p(2)-CG는 후방 오차를 1e-12 이하로 낮추지 못하고, p(3)-CG는 성공하는가?
• RQ4 오차 증폭을 줄이기 위한 안정화 기법을 설계할 수 있는가? 이는 성능을 너무 많이 희생시키지 않는가?
• RQ5 케일로프 기저의 구조가 파이프라인형 CG에서 반올림 오차의 전파에 어떤 영향을 미치는가?

주요 결과

• ℓ = 3인 p(ℓ)-CG는 후방 오차 ‖b - A𝐱̄ⱼ‖ / ‖b‖ ≤ 1.0e-12를 달성하지만, p(1)-CG 및 p(2)-CG는 오차 증폭으로 인해 이를 달성하지 못한다.
• p(3)-CG에서 제곱근 붕괴와 그 후 재시작이 최종 정확도를 향상시키지만, 낮은 ℓ 변종보다 수렴이 지연된다.
• 표준 p(ℓ)-CG 변종은 안정화된 변종보다 빠르게 수렴하지만, 그 대가로 도달 가능한 정확도가 낮아진다.
• 오차 전파에 영향을 미치는 주요 요소로 파이프라인 깊이 ℓ와 케일로프 기저의 조건수를 확인하였으며, 더 높은 ℓ는 더 나은 오차 제어를 가능하게 한다.
• 오차 증폭을 줄이기 위한 제안된 조치는 계산 효율성을 희생시키며 정확도를 향상시키며, 고정밀 응용 분야에서 실용적인 트레이드오프임을 시사한다.
• 분석 결과, ℓ ≥ 3인 p(ℓ)-CG는 낮은 ℓ 변종보다 더 나은 수치적 안정성을 확보함으로써 더 높은 최대 도달 가능한 정확도를 달성할 수 있음을 확인하였다.