[논문 리뷰] Scalable and Fault Tolerant Computation with the Sparse Grid Combination Technique

Brendan Harding, Markus Hegland외 2명|arXiv (Cornell University)|2014. 04. 10.

Distributed systems and fault tolerance참고 문헌 13인용 수 3

한 줄 요약

이 논문은 확장 가능한 고성능 계산을 위한 희소 격자 조합 기법의 고장 내성 확장 기법을 제안하며, 최소한의 복구 오버헤드로 저항력 있고 대량 병렬 계산 솔루션을 가능하게 한다. 조합 계수를 일반화하고 알고리즘 기반 고장 내성 기법을 사용함으로써, 정확도 손실이 미미한 수준에서 복구 시간을 감소시키며, 3D 이동성 PDE 시뮬레이션에서 빈번한 고장을 견딜 때 기존의 체크포인트-재시작 기법보다 뛰어난 성능을 발휘한다.

ABSTRACT

This paper continues to develop a fault tolerant extension of the sparse grid combination technique recently proposed in [B. Harding and M. Hegland, ANZIAM J., 54 (CTAC2012), pp. C394-C411]. The approach is novel for two reasons, first it provides several levels in which one can exploit parallelism leading towards massively parallel implementations, and second, it provides algorithm-based fault tolerance so that solutions can still be recovered if failures occur during computation. We present a generalisation of the combination technique from which the fault tolerant algorithm is a consequence. Using a model for the time between faults on each node of a high performance computer we provide bounds on the expected error for interpolation with this algorithm. Numerical experiments on the scalar advection PDE demonstrate that the algorithm is resilient to faults on a real application. It is observed that the trade-off of recovery time to decreased accuracy of the solution is suitably small. A comparison with traditional checkpoint-restart methods applied to the combination technique show that our approach is highly scalable with respect to the number of faults.

연구 동기 및 목표

• 엑사스케일 컴퓨팅에서 높은 고장률과 장시간의 체크포인트 시간으로 인해 기존의 체크포인트-재시작 메커니즘이 비현실적이게 되는 런타임 고장 문제를 해결하기 위해.
• 대규모 시스템에서 저항력 있고 확장 가능한 계산을 가능하게 하는 희소 격자 조합 기법의 고장 내성 변형을 개발하기 위해.
• 다중 고장 상황에서도 복구 시간과 계산 오버헤드를 최소화하면서 수용 가능한 정확도를 유지하기 위해.
• 모의 고장을 포함한 3D 스칼라 이동성 PDE에서의 수치 실험을 통해 확장성과 고장 내성의 성능을 입증하기 위해.

제안 방법

• 노드 장애 발생 후 조합 계수의 동적 재계산을 가능하게 하여, 전체 재실행 없이도 고장 내성을 확보할 수 있도록 희소 격자 조합 기법을 일반화한다.
• 노드 장애 발생 시 보간된 해의 기대 오차를 추정하기 위해 확률적 고장 모델을 사용하며, 정확도 손실에 대한 이론적 상한을 제공한다.
• MPI와 OpenMP를 활용하여 분산 노드 간의 작업, 데이터, 구성 요소 수준의 병렬성을 활용하는 다층 병렬 아키텍처를 구현한다.
• 고장 발생 후 해 재구성 시 소규모이고 유한한 오차를 허용함으로써 알고리즘 기반 고장 내성(ABFT)을 적용하여 전체 체크포인트를 피한다.
• 컴퓨테이션의 끝에서만 구성 격자 해를 조합하여 통신 오버헤드를 감소시키고 확장성을 향상시킨다.
• 모의 고장을 포함한 3D 이동성 PDE 솔버를 사용하여 체크포인트-재시작 방법과의 복구 성능을 비교 검증한다.

실험 결과

연구 질문

• RQ1 희소 격자 조합 기법을 어떻게 일반화하여 계산 효율성을 유지하면서 고장 내성을 지원할 수 있는가?
• RQ2 계산 중 고장이 발생할 경우 해의 기대 오차는 얼마이며, 이를 수학적으로 상한으로 제시할 수 있는가?
• RQ3 다중 고장 상황에서 제안된 알고리즘 기반 고장 내성 기법이 기존의 체크포인트-재시작 방법과 비교해 복구 시간과 확장성 측면에서 어떻게 성능을 발휘하는가?
• RQ4 고장 빈도와 분포가 병렬 HPC 환경에서 해의 정확도와 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 고장 내성 조합 기법은 특히 높은 고장률 상황에서 체크포인트-재시작 기법 대비 복구 시간을 크게 감소시킨다.
• 해의 기대 오차는 매우 작으며, 다수의 모의 고장 발생 후에도 정확도에 미미한 영향을 미친다.
• 고장 수가 증가함에 따라 성능이 잘 유지되며, 단 몇 개의 고장 이후에는 국소 및 전역 체크포인트 방식을 모두 능가한다.
• 다중 고장 발생 상황에서 복구 비용에 비해 고장 내성 기법의 오버헤드는 무시할 수준이 된다.
• 장애가 없는 상황에서 최대 60개 스레드까지 선형 스케일업에 가까운 스피드업을 달성하여 높은 확장성을 확보한다.
• 실제 3D 이동성 PDE 응용 프로그램에서의 수치 실험 결과, 실용적으로 강인한 성능을 보이며 일관된 내성성을 입증한다.