[논문 리뷰] Algorithmic Based Fault Tolerance Applied to High Performance Computing

George Bosilca, Rémi Delmas외 2명|ArXiv.org|2008. 06. 19.

Distributed systems and fault tolerance참고 문헌 1인용 수 20

한 줄 요약

이 논문은 고성능 계산(HPC)을 위한 새로운 확장 가능한 알고리즘 기반 결함 내성(ABFT) 기법을 제안하며, ABFT를 병렬 분산 행렬-행렬 곱셈(PDGEMM)으로 확장한다. 이 기법은 실행 중에 프로세스 장애와 비트 플립 오류를 탐지하고 수정할 수 있으며, 484개 프로세서에서 12%의 오버헤드로 1.4 TFLOPS 성능을 달성하고 피크 성능의 65%를 구현한다. 또한 프로세서 수가 증가함에 따라 결함 내성 오버헤드가 감소한다.

ABSTRACT

We present a new approach to fault tolerance for High Performance Computing system. Our approach is based on a careful adaptation of the Algorithmic Based Fault Tolerance technique (Huang and Abraham, 1984) to the need of parallel distributed computation. We obtain a strongly scalable mechanism for fault tolerance. We can also detect and correct errors (bit-flip) on the fly of a computation. To assess the viability of our approach, we have developed a fault tolerant matrix-matrix multiplication subroutine and we propose some models to predict its running time. Our parallel fault-tolerant matrix-matrix multiplication scores 1.4 TFLOPS on 484 processors (cluster jacquard.nersc.gov) and returns a correct result while one process failure has happened. This represents 65% of the machine peak efficiency and less than 12% overhead with respect to the fastest failure-free implementation. We predict (and have observed) that, as we increase the processor count, the overhead of the fault tolerance drops significantly.

연구 동기 및 목표

• 높은 장애율을 가진 대규모 HPC 시스템에서 전통적인 체크포인팅의 확장성 한계를 해결한다.
• 프로세서 수가 증가함에 따라 성능을 유지하는 결함 내성 선형 대수 핵심을 개발한다.
• 계산 중에 프로세스 장애와 비트 플립 오류를 실시간으로 탐지하고 수정할 수 있도록 한다.
• 비용이 많이 드는 I/O를 피하기 위해 알고리즘 인코딩과 병렬성을 활용해 결함 내성 오버헤드를 최소화한다.
• ScaLAPACK과 같은 분산 메시지 전달 환경에서 ABFT의 실현 가능성을 입증한다.

제안 방법

• ScaLAPACK의 PDGEMM를 사용해 병렬 분산 메모리 환경에서 작동하도록 Huang와 Abraham의 원래 ABFT 기법을 적응시켰다.
• 예를 들어 파리티 벡터와 같은 체크섬 체계를 사용해 행렬 데이터를 인코딩하여 계산 중 오류 탐지 및 수정을 가능하게 했다.
• 결함 탐지 및 수정이 재시작 없이도 가능하도록, 인코딩된 데이터를 기반으로 한 행렬-행렬 곱셈 알고리즘을 재설계했다.
• 결함 내성 핵심을 ABFT BLAS 라이브러리에 통합하여 실행 중에 투명하게 오류 복구가 가능하도록 했다.
• 다양한 프로세서 수에서 실행 시간과 오버헤드를 추정하기 위해 두 개의 매개변수(α 및 γ)를 사용한 예측 성능 모델을 사용했다.
• 484개 프로세서 클러스터에서 약한 및 강한 확장성 실험을 수행하여 장애 조건 하에서의 성능과 오버헤드를 평가했다.

실험 결과

연구 질문

• RQ1 ABFT는 대규모 분산 메모리 HPC 시스템으로 효과적으로 확장되어 낮은 오버헤드로 결함 내성을 달성할 수 있는가?
• RQ2 고정된 문제 크기에서 프로세서 수가 증가함에 따라 ABFT의 결함 내성 오버헤드가 감소하는가?
• RQ3 제안된 방법은 행렬-행렬 곱셈 중에 실시간으로 프로세스 장애와 비트 플립 오류를 모두 탐지하고 수정할 수 있는가?
• RQ4 약한 및 강한 확장성 시나리오에서, 결함 내성 PDGEMM의 성능은 표준 PBLAS PDGEMM와 비교해 어떻게 되는가?
• RQ5 단지 두 개의 매개변수로 구성된 단순 모델을 사용해 결함 내성 오버헤드를 어느 정도 정확하게 예측할 수 있는가?

주요 결과

• 결함 내성 PDGEMM는 484개 프로세서에서 1.4 TFLOPS 성능을 달성했으며(클러스터 jacquard.nersc.gov), 기계의 피크 성능의 65%에 도달했다.
• 한 개의 프로세스 장애가 발생했을 때도 알고리즘이 정확하게 결과를 반환하여 실시간 복구가 효과적으로 작동함을 입증했다.
• 484개 프로세서에서 가장 빠른 장애 없는 구현 대비 결함 내성 오버헤드가 12% 미만이었다.
• 프로세서 수가 증가함에 따라 결함 내성 오버헤드가 크게 감소했으며, 강한 확장성에서 484개 프로세서에서 114.7%로 감소했다.
• 두 매개변수(α 및 γ)로 구성된 성능 모델은 48개 실험 전반에서 실험 결과를 몇 퍼센트 내외로 정확하게 예측했다.
• 강한 확장성에서 고정된 문제 크기 조건에서, 프로세서 수가 증가함에 따라 결함 내성 오버헤드가 0에 수렴함을 보여주어 본질적인 확장성을 입증했다.