[논문 리뷰] System-level Scalable Checkpoint-Restart for Petascale Computing

Jiajun Cao, Kapil Arya외 6명|arXiv (Cornell University)|2016. 07. 27.

Distributed systems and fault tolerance참고 문헌 13인용 수 6

한 줄 요약

이 논문은 DMTCP를 사용하여 페타스케일 HPC 시스템에서 시스템 수준의 투명한 체크포인트-재시작 메커니즘을 제안하며, 32,752개의 코어에서 전체 메모리 덤프를 수행하면서 런타임 오버헤드가 1% 미만이 되도록 한다. 가상화된 InfiniBand UD 모드와 런타임 추적 최적화를 통해 확장 가능한 체크포인팅을 실현하였으며, Stampede 슈퍼컴퓨터에서 38 TB 체크포인트를 10.9분 내에 생성하여 성능에 미치는 영향을 최소화하였다.

ABSTRACT

Fault tolerance for the upcoming exascale generation has long been an area of active research. One of the components of a fault tolerance strategy is checkpointing. Petascale-level checkpointing is demonstrated through a new mechanism for virtualization of the InfiniBand UD (unreliable datagram) mode, and for updating the remote address on each UD-based send, due to lack of a fixed peer. Note that InfiniBand UD is required to support modern MPI implementations. An extrapolation from the current results to future SSD-based storage systems provides evidence that the current approach will remain practical in the exascale generation. This transparent checkpointing approach is evaluated using a framework of the DMTCP checkpointing package. Results are shown for HPCG (linear algebra), NAMD (molecular dynamics), and the NAS NPB benchmarks. In tests up to 32,752 MPI processes on 32,752 CPU cores, checkpointing of a computation with a 38 TB memory footprint in 11 minutes is demonstrated. Runtime overhead is reduced to less than 1%. The approach is also evaluated across three widely used MPI implementations.

연구 동기 및 목표

• 페타스케일 및 엑사스케일 규모에서 전통적인 체크포인팅 메커니즘이 높은 I/O 및 통신 오버헤드로 인해 실패하는 등, 시스템 수준의 고장 내성 문제를 해결하기 위해.
• 현대 MPI 런타임이 성능을 위해 InfiniBand UD를 사용하는 바탕으로, 현대 MPI 구현체를 기반으로 한 투명한 전체 메모리 체크포인팅을 가능하게 하기 위해.
• 실행 중인 메시지 전송 중인 데이터 및 네트워크 상태 처리를 최적화하여, 특히 대규모 시스템에서 런타임 오버헤드를 줄이기 위해.
• HPCG, NAMD, NAS NPB와 같은 실제 HPC 워크로드에서 페타스케일 규모에서의 시스템 수준 체크포인팅의 실용적 확장성을 입증하기 위해.

제안 방법

• 현대 MPI 런타임에서 사용하는 InfiniBand RC 및 UD 모드를 모두 지원하도록 DMTCP 체크포인팅 프레임워크를 확장하여, 투명한 체크포인팅을 가능하게 하였다.
• 동적 피어 주소 및 전송 중인 데이터를 처리하기 위해 InfiniBand UD 모드의 가상화를 도입하였으며, 이는 확장 가능한 MPI 통신에 필수적이다.
• 실행 중 연속적인 전송 메시지 추적을 방지함으로써 런타임 오버헤드를 줄이는 새로운 체크포인트 시간 전략을 구현하였다.
• 순수한 RC 모드의 $n^2$ 연결 오버헤드를 피하기 위해, 성능과 확장성의 균형을 맞추기 위해 하이브리드 RC/UD 통신 모델을 사용하였다.
• 대용량 체크포인트 이미지의 고속 안정 저장을 위해 러스트(Lustre) 병렬 파일시스템을 활용하였다.
• 섹션 3.4의 공식을 활용해 향후 SSD 기반 엑사스케일 시스템으로의 성능 외삽을 수행하였으며, 이상적인 체크포인트 시간을 1.7분으로 예측하였다.

실험 결과

연구 질문

• RQ1 전체 메모리 덤프를 통해 런타임 성능 저하 없이 페타스케일 HPC 시스템에서 시스템 수준의 투명한 체크포인팅을 확장 가능하게 만들 수 있는가?
• RQ2 고정된 피어 주소가 없는 InfiniBand UD 모드가 현대 MPI 런타임에 필수적이지만, 투명한 체크포인팅에서 이를 어떻게 지원할 수 있는가?
• RQ3 이전 방법이 4,000 코어에서 9%까지 오버헤드가 증가하는 것을 감안할 때, 대규모 시스템에서 체크포인팅 오버헤드를 1% 이하로 줄일 수 있는 기법은 무엇인가?
• RQ4 제안된 메커니즘은 NAMD 및 HPCG와 같은 다양한 MPI 런타임 및 실제 HPC 워크로드에서 성능과 확장성을 유지할 수 있는가?
• RQ5 미래의 SSD 기반 스토리지와 함께, 현재의 접근 방식이 엑사스케일 시스템에서도 실용적으로 유지될 수 있는가?

주요 결과

• 32,752개의 CPU 코어를 사용하여 Stampede 슈퍼컴퓨터에서 38 TB 체크포인트 이미지를 10.9분 내에 성공적으로 생성하여 실용적인 페타스케일 체크포인팅을 입증하였다.
• 32,752개의 코어에서도 런타임 오버헤드가 1% 미만으로 감소하여, 이전 연구에서 4,000 코어에서 관찰된 9%의 오버헤드 문제를 해결하였다.
• 응용 프로그램 수준의 수정 없이도 MVAPICH2를 포함한 널리 사용되는 세 가지 MPI 런타임에서 투명한 체크포인팅을 성공적으로 지원하였다.
• 시스템 관리자들이 대규모 실행을 모니터링한 결과, 동시 I/O 사용에 거의 영향을 주지 않는 전체 메모리 덤프를 구현하였다.
• 미래의 SSD 기반 엑사스케일 시스템으로의 외삽 결과 이상적인 체크포인트 시간은 1.7분으로 예측되었으며, 실제 성능을 고려하면 17분 이내로 10배 증가할 것으로 예측되었다.