[논문 리뷰] Resilience for Multigrid Software at the Extreme Scale

Markus Huber, Björn Gmeiner외 2명|arXiv (Cornell University)|2015. 06. 20.

Parallel Computing and Optimization Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 하드웨어 장애에 대응하기 위해 인터페이스 값의 부가 저장을 사용하고 비동기식 국소 다중 격자 복구를 통해 고장 내성적인 기하학적 다중 격자 솔버를 제안한다. 강력한 '슈퍼맨' 컴퓨팅 자원을 활용해 국소 복구를 가속화함으로써, 네트워크 시간-해결 시간에 영향을 주지 않고 고장을 완전히 보완한다. 이는 페타스케일 시스템에서 뛰어난 병렬 성능을 달성한다.

ABSTRACT

Fault tolerant algorithms for the numerical approximation of elliptic partial differential equations on modern supercomputers play a more and more important role in the future design of exa-scale enabled iterative solvers. Here, we combine domain partitioning with highly scalable geometric multigrid schemes to obtain fast and fault-robust solvers in three dimensions. The recovery strategy is based on a hierarchical hybrid concept where the values on lower dimensional primitives such as faces are stored redundantly and thus can be recovered easily in case of a failure. The lost volume unknowns in the faulty region are re-computed approximately with multigrid cycles by solving a local Dirichlet problem on the faulty subdomain. Different strategies are compared and evaluated with respect to performance, computational cost, and speed up. Especially effective are strategies in which the local recovery in the faulty region is executed in parallel with global solves and when the local recovery is additionally accelerated. This results in an asynchronous multigrid iteration that can fully compensate faults. Excellent parallel performance on a current peta-scale system is demonstrated.

연구 동기 및 목표

• 대규모 병렬 처리로 인한 고장 확률 증가에 대응하기 위해 초스케일 HPC 시스템을 위한 고장 내성 다중 격자 솔버를 설계한다.
• 분산 메모리 시스템에서 하드웨어 장애 발생 시 반복적 해법의 지연과 계산 오버헤드를 최소화한다.
• 비용이 많이 드는 체크포인팅에 의존하지 않고도 효율적인 국소 복구를 통해 고장을 완전히 보완할 수 있도록 한다.
• 글로벌 다중 격자 루프와 비동기식 복구를 통합하여 확장성과 성능을 유지한다.
• 10^11개의 미지수를 포함하는 대규모 시뮬레이션을 수행한 실제 페타스케일 시스템에서 접근 방식을 검증한다.

제안 방법

• ghost 노드를 사용한 도메인 분할을 수행하고, 고장 복구를 위해 저차원 인터페이스(예: 면)에만 부가 값을 저장한다.
• 손실된 볼륨 미지수를 장애가 발생한 하위영역에서 딜리클레 문제를 푸는 국소 다중 격자 루프를 통해 재구성하는 계층적 하이브리드 복구 전략을 구현한다.
• 장애가 발생한 하위영역에서 컴퓨팅 자원을 과잉 할당하여 국소 복구를 가속화하고 시간-해결 시간 지연을 제거하는 '슈퍼맨' 전략을 적용한다.
• 건재한 하위영역과 장애가 발생한 하위영역에서 병행하여 계산이 가능하도록, 비동기식으로 국소 복구와 글로벌 다중 격자 반복을 결합한다.
• 근사 경계 조건을 사용하는 국소 하위문제를 해결하기 위해 딜리클레-뉴먼 또는 딜리클레-딜리클레 복구 전략을 활용한다.
• 지나친 통신 또는 계산을 방지하기 위해 국소 반복 수(n_I)와 슈퍼맨 파wr(η_super)를 조절하여 복구 효율성을 극대화한다.

실험 결과

연구 질문

• RQ1 초스케일에서 다중 격자 솔버의 고장 내성은 최소한의 계산 및 통신 오버헤드로 달성될 수 있는가?
• RQ2 손실된 데이터의 국소 복구가 얼마나 효율적으로 이루어져야 시간-해결 시간 증가 없이 고장을 완전히 보완할 수 있는가?
• RQ3 고장 발생 시 국소 복구 노력과 글로벌 다중 격자 수렴 간 최적의 균형은 무엇인가?
• RQ4 슈퍼맨 가속을 통한 비동기식 국소 복구는 반복적 해법에서 고장의 성능 저하를 제거할 수 있는가?
• RQ5 디릴레-디릴레와 딜리클레-뉴먼 중 어느 복구 전략이 고장 조건 하에서 더 뛰어난 성능과 강건성을 제공하는가?

주요 결과

• 디릴레-뉴먼 복구 전략은 고장 복구 중 더 나은 동기화와 수렴 제어를 가능하게 하여 딜리클레-딜리클레 전략보다 우수한 성능을 보였다.
• 최적의 슈퍼맨 파워(η_super = 4)와 n_I = 2 또는 3 조건에서, 복구 시간이 복구 없이 대비해 최대 80% 감소하였다.
• 5회 또는 9회 반복 후 고장을 발생시킨 약화 스케일링에서, 추가 시간 비용은 원래 시간의 47.8%에서 55.7%에서 769³ 격자 크기에서 최소 4.22초로 감소하였다.
• 국소 복구를 초과 병렬화로 가속화함으로써, 네트워크 시간-해결 시간에 영향을 주지 않고 고장을 완전히 보완할 수 있었다.
• 이 접근 방식은 페타스케일 시스템에서 뛰어난 병렬 성능을 유지하며, 거의 10^11개의 미지수까지 확장성을 입증하였다.
• n_I를 선택함으로써 n_F ≈ n_I + k_F - 2가 되게 하면, 국소 수렴과 통신 지연 간 균형이 맞춰져 복구 오버헤드가 최소화된다.