[논문 리뷰] The Communication-Hiding Conjugate Gradient Method with Deep Pipelines

J. Cornelis, Siegfried Cools외 1명|arXiv (Cornell University)|2018. 01. 15.

Matrix Theory and Algorithms참고 문헌 37인용 수 19

한 줄 요약

이 논문은 다수의 희소 행렬-벡터 곱(spmv) 연산과 함께 전역 통신 단계를 겹쳐서 처리함으로써 대규모 병렬 시스템에서 지연을 숨기는 딥-파이프라인형 콘jugate gradient 알고리즘인 p(l)-CG 방법을 제안한다. 이는 엑사스케일 하드웨어에서 고전적 및 표준 파이프라인 CG보다 향상된 확장성을 달성하지만, 더 깊은 파이프라인으로 인해 저장소 증가와 오차 전파로 인한 수치적 불안정성의 위험이 수반된다.

ABSTRACT

Krylov subspace methods are among the most efficient solvers for large scale linear algebra problems. Nevertheless, classic Krylov subspace algorithms do not scale well on massively parallel hardware due to synchronization bottlenecks. Communication-hiding pipelined Krylov subspace methods offer increased parallel scalability by overlapping the time-consuming global communication phase with computations such as spmvs, hence reducing the impact of the global synchronization and avoiding processor idling. One of the first published methods in this class is the pipelined Conjugate Gradient method (p-CG). However, on large numbers of processors the communication phase may take much longer than the computation of a single spmv. This work extends the pipelined CG method to deeper pipelines, denoted as p(l)-CG, which allows further scaling when the global communication phase is the dominant time-consuming factor. By overlapping the global all-to-all reduction phase in each CG iteration with the next l spmvs (deep pipelining), the method hides communication latency behind additional computational work. The p(l)-CG algorithm is derived from similar principles as the existing p(l)-GMRES method and by exploiting operator symmetry. The p(l)-CG method is also compared to other Krylov subspace methods, including the closely related classic CG and D-Lanczos methods and the pipelined CG method by Ghysels et al.. By analyzing the maximal accuracy attainable by the p(l)-CG method it is shown that the pipelining technique induces a trade-off between performance and numerical stability. A preconditioned version of the algorithm is also proposed and storage requirements and performance estimates are discussed. Experimental results demonstrate the possible performance gains and the attainable accuracy of deeper pipelined CG for solving large scale symmetric linear systems.

연구 동기 및 목표

• 전체 내적 축소에서의 전역 동기화 블로킹으로 인해 고전적 크릴로프 부분공간 방법이 대규모 병렬 아키텍처에서 확장성에 한계를 가짐을 해결하기 위해.
• 대규모 시스템에서 전역 통신 지연이 spmv 계산 시간을 초월할 경우 표준 파이프라인 CG(p-CG)의 성능 한계를 극복하기 위해.
• 단일 단계 겹침을 초월하여 더 깊은 파이프라인(l > 1)으로 파이프라인 개념을 확장하여 통신 숨기기와 병렬 효율을 향상시키기 위해.
• 대칭 양의 정합 행렬 시스템에서 더 깊은 파이프라인화로 인해 발생하는 수치적 안정성과 정확도의 상충 관계를 분석하기 위해.
• p(l)-CG 알고리즘의 실용적 구현 프레임워크를 제공하고, 저장소 및 성능 추정치를 제시하기 위해.

제안 방법

• 행렬의 대칭성과 잔여항의 직교성 조건을 이용해 p(l)-GMRES 방법에서 유도된 p(l)-CG 알고리즘을 도출함으로써, 대칭 시스템에 특화된 일반 프레임워크의 단순화를 달성함.
• 각 CG 반복에서 전역 all-to-all 감소(통신) 단계를 다음 l개의 spmv 연산과 겹치기 위해 보조 변수를 도입함.
• 다항식 재귀식을 사용해 보조 변수를 순차적으로 계산함으로써, 알고리즘의 구조를 유지하면서 통신 지연을 계산 뒤로 숨김.
• 통신-계산 겹침을 실현하기 위해, 반복 k의 통신 단계를 반복 k+1에서 k+l까지의 spmv 연산 수행 중에 배치함.
• p(l)-CG의 조건부 변형을 제안하고, 저장소 요구사항과 성능 특성을 분석함.
• 국소 반올림 오차 전파에 대한 이론적 경계를 제시하여 파이프라인 깊이가 해의 정확도에 미치는 영향을 평가함.

실험 결과

연구 질문

• RQ1 전역 감소 시간이 계산 시간을 초월하는 대규모 병렬 시스템에서, 콘주게이트 그레디언트 방법의 더 깊은 파이프라인화(l > 1)가 통신 지연을 효과적으로 숨길 수 있는가?
• RQ2 파이프라인 깊이를 증가시킬 경우, 유한 정밀도 산술에서 p(l)-CG 방법의 수치적 안정성과 도달 가능한 해의 정확도에 어떤 영향을 미치는가?
• RQ3 더 깊은 파이프라인화로 인해 발생하는 저장소 및 계산 오버헤드는 l과 문제 크기와 어떻게 스케일링되는가?
• RQ4 분산-멀티코어 아키텍처에서 p(l)-CG는 고전적 CG, p-CG, D-Lanczos와 비교해 성능 및 정확도 측면에서 어떻게 다른가?
• RQ5 p(l)-CG 방법은 엑사스케일 하드웨어에서 얼마나 확장 가능하며, 오차 전파와 구현 복잡도로 인해 발생하는 실질적 한계는 무엇인가?

주요 결과

• 전역 통신 지연이 지배적인 대규모 병렬 시스템에서 p(l)-CG 방법은 고전적 CG 및 표준 p-CG보다 향상된 확장성을 달성하며, 특히 l > 1일 경우 두드러진다.
• 최적의 겹침 상황에서 고전적 CG 대비 성능 향상이 최대 3배까지 관찰되었으며, 엑사스케일 규모 하드웨어에서 더 깊은 파이프라인은 유휴 시간을 추가로 감소시켰다.
• 이 방법은 성능 향상과 수치적 정확도 사이의 상충 관계를 수반하며, 더 긴 파이프라인은 국소 반올림 오차의 전파를 악화시켜 도달 가능한 해의 정확도를 감소시킬 수 있다.
• 일부 조건 하에서 p(3)-CG에서는 제곱근 붕괴 현상이 관찰되어 더 깊은 파이프라인에서 수치적 실패의 위험이 있음을 시사한다.
• 이론적 분석 결과 오차 전파가 파이프라인 길이 l과 보조 크릴로프 기저 벡터의 선택에 따라 달라지며, 이는 구현 선택에 민감함을 나타낸다.
• 실험 결과 더 깊은 파이프라인은 분산-멀티코어 시스템에서 더 높은 확장성을 제공하는 것으로 확인되었지만, 구현 복잡도와 저장소 오버헤드는 l 증가에 따라 증가한다.