[논문 리뷰] Resilience for Exascale Enabled Multigrid Methods

Markus Huber, Björn Gmeiner외 2명|arXiv (Cornell University)|2015. 01. 29.

Parallel Computing and Optimization Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 엑사스케일 계산에서 병렬 기하학적 멀티그리드 솔버를 위한 알고리즘 기반 장애내성(ABFT) 전략을 제안한다. 여기서 장애는 다중그리드 순환을 사용하여 딜레르흐 경계 조건을 가진 국소 하위문제를 해결함으로써 복구된다. 이 방법은 최소한의 I/O 오버헤드로 체크포인트-재시작과 유사한 수렴성을 달성하며, 국소 멀티그리드 복구가 정확도와 효율성 면에서 스무딩 및 크릴로프 솔버보다 뛰어남을 보여준다.

ABSTRACT

With the increasing number of components and further miniaturization the mean time between faults in supercomputers will decrease. System level fault tolerance techniques are expensive and cost energy, since they are often based on redundancy. Also classical check-point-restart techniques reach their limits when the time for storing the system state to backup memory becomes excessive. Therefore, algorithm-based fault tolerance mechanisms can become an attractive alternative. This article investigates the solution process for elliptic partial differential equations that are discretized by finite elements. Faults that occur in the parallel geometric multigrid solver are studied in various model scenarios. In a standard domain partitioning approach, the impact of a failure of a core or a node will affect one or several subdomains. Different strategies are developed to compensate the effect of such a failure algorithmically. The recovery is achieved by solving a local subproblem with Dirichlet boundary conditions using local multigrid cycling algorithms. Additionally, we propose a superman strategy where extra compute power is employed to minimize the time of the recovery process.

연구 동기 및 목표

• 수백만 개의 노드로 구성된 엑사스케일 HPC 시스템에서 하드웨어 장애의 비율이 증가함에 따라 이에 대응하는 도전 과제를 해결한다.
• 빈번한 상태 저장으로 인해 높은 I/O 및 에너지 비용을 유발하는 전통적인 체크포인트-재시작 기법의 한계를 극복한다.
• 시스템 수준의 부가 자원이나 체크포인팅에 의존하지 않고도 장애 복구가 가능한 알고리즘 기반 장애내성(ABFT) 접근법을 개발한다.
• 노드 또는 코어 장애 발생 후 복구 시 솔루션 지연 시간과 계산 오버헤드를 최소화하면서도 수렴성을 확보한다.
• 국소 멀티그리드 순환은 기하학적 멀티그리드 솔버에서 장애 복구에 있어 스무딩 및 크릴로프 방법보다 더 효과적임을 입증한다.

제안 방법

• 병렬 기하학적 멀티그리드 솔버에서 코어 또는 노드 장애로 인해 하위영역 내 솔루션 값이 손실되는 장애 시나리오를 모델링한다.
• 손실된 값을 국소 멀티그리드 순환(V-, W-, F-순환 포함)을 사용하여 영향을 받은 하위영역에서 딜레르흐 경계 조건을 가진 국소 하위문제를 해결함으로써 복구한다.
• 추가 컴퓨팅 자원을 활용하여 병렬 처리를 통해 국소 복구를 가속화하는 '슈퍼맨' 전략을 도입한다.
• 복구 효율성을 비교하기 위해 전용 체크포인트-재시작(CCR) 대비 다중그리드 순환 수를 기반으로 한 '사이클 이점(Cycle Advantage, CCR)' 지표를 사용한다.
• 유한 요소 이산화를 사용한 푸아송 방정식을 기반으로 하향형 하이브리드 멀티그리드(HHG) 프레임워크 내에서 복구 전략을 구현하고 평가한다.
• 다양한 스무딩 기법(Gauss-Seidel, Jacobi), PCG 반복 수, 장애 발생 시점에 따라 다를 수 있는 다중그리드 순환의 복구 성능을 비교한다.

실험 결과

연구 질문

• RQ1 체크포인팅을 사용하지 않고도 병렬 기하학적 멀티그리드 솔버에서 노드 또는 코어 장애 발생 시 국소 멀티그리드 순환으로 효과적으로 복구할 수 있는가?
• RQ2 장애 발생 시점(해결 과정의 조기 vs. 후기)이 복구에 필요한 노력과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 스무딩, PCG, 다중그리드 순환과 같은 다양한 복구 전략 중에서 체크포인트-재시작 수준의 정확도를 달성하는 데 있어 상대적인 성능은 어떠한가?
• RQ4 '슈퍼맨' 전략은 추가 병렬성을 활용하여 복구 시간을 크게 단축시킬 수 있는가?
• RQ5 사이클 이점 지표는 전용 체크포인트-재시작 대비 복구 전략의 효율성을 어떻게 정량화하는가?

주요 결과

• 5회 반복 후 장애 발생 시, 4개의 V-순환, 3개의 W-순환, 또는 3개의 F-순환으로 조건수(κ)가 4.164에 도달하여 전체 체크포인트-재시작(CCR) 전략과 동일한 정확도를 달성한다.
• 7회 반복 후 장애 발생 시, W-또는 F-순환 5회로 κ ≈ 6.445에 도달하여 CCR 결과를 재현하며, 스무딩 및 PCG 전략은 근소한 향상 외에는 성능 향상이 없다.
• 11회 반복 후 장애 발생 시, CCR 성능(κ ≈ 10.999)을 재현하기 위해 5회 이상의 W-또는 F-순환을 필요로 하며, 이는 장애 탐지가 지연될수록 복구 비용이 증가함을 시사한다.
• W-순환과 F-순환은 거의 동일한 복구 성능를 보이며, F-순환은 계산 비용이 낮아 더 선호된다.
• 스무딩 및 PCG 기반 복구 전략은 기준 방법 대비 근소한 향상만을 제공하며, 다중그리드 순환 수준의 정확도에 도달하지 못한다.
• CCR 지표는 다중그리드 순환이 오직 최소한의 I/O 및 계산 오버헤드로 CCR 수준의 정확도를 달성할 수 있음을 확인하며, 이는 엑사스케일 내성에 이상적인 방법임을 시사한다.