[논문 리뷰] Challenges and Considerations for Utilizing Burst Buffers in High-Performance Computing

Melissa Romanus, Robert Ross외 1명|arXiv (Cornell University)|2015. 09. 18.

Advanced Data Storage Technologies참고 문헌 1인용 수 11

한 줄 요약

이 논문은 엑사스케일 고성능 컴퓨팅(HPC) 시스템에 통합되는 버스트 버퍼—고용량, 저지연 메모리 계층—의 과제와 고려사항을 검토한다. 체크포인트-재시작, 인-사이트 분석, 아웃-오브-코어 컴퓨팅과 같은 주요 사용 사례를 특정하고, 자원 할당 및 데이터 일관성과 같은 시스템 수준의 과제를 이들 사용 사례에 연결하며, DataWarp와 DDN의 인피니트 메모리 엔진(IME)과 같은 최신 솔루션의 성능을 평가한다. 이들 솔루션은 벤치마크에서 최대 1,000배의 I/O 성능 향상을 달성하였다.

ABSTRACT

As high-performance computing (HPC) moves into the exascale era, computer scientists and engineers must find innovative ways of transferring and processing unprecedented amounts of data. As the scale and complexity of the applications running on these machines increases, the cost of their interactions and data exchanges (in terms of latency, energy, runtime, etc.) can increase exponentially. In order to address I/O coordination and communication issues, computing vendors are developing an intermediate layer between compute nodes and the parallel file system composed of different types of memory (NVRAM, DRAM, SSD). These large scale memory appliances are being called 'burst buffers.' In this paper, we envision advanced memory at various levels of HPC hardware and derive potential use cases for how to take advantage of it. We then present the challenges and issues that arise when utilizing burst buffers in next-generation supercomputers and map the challenges to the use cases. Lastly, we discuss the emerging state-of-the-art burst buffer solutions that are expected to become available by the end of the year in new HPC systems and which use cases these implementations may satisfy.

연구 동기 및 목표

• 다중 계층 버스트 버퍼를 HPC 아키텍처 전반에 배치할 때 발생하는 시스템 수준의 과제를 특정하고 분석하기.
• 체크포인트-재시작, 인-사이트 분석, 워크플로우 결합과 같은 특정 과학적 워크로드 및 사용 사례에 이러한 과제를 연결하기.
• 기존의 버스트 버퍼 솔루션(예: DataWarp, DDN IME)을 평가하고, 신규 HPC I/O 요구사항을 충족시킬 수 있는 능력을 분석하기.
• 현재 하드웨어 기술 능력과 과학적 워크플로우에서 버스트 버퍼 통합의 잠재력 간 격차를 부각하기.
• 자원 관리, 데이터 일관성, 런타임 조율과 같은 해결되지 않은 문제들을 드러내어 향후 연구를 이끌기

제안 방법

• 노드 로컬, 보드 로컬, 중간 저장소, I/O 서브시스템 수준에서 버스트 버퍼를 포함한 HPC 시스템을 표현하기 위해 추상 기계 모델(AMM)을 개발하였다.
• 그림 1에 제시된 계층적 메모리 모델을 통해 메모리 계층 간 대역폭, 지연, 비용 간의 상충 관계를 시각화하였다.
• 버스트 버퍼 통합에 영향을 받는 세 가지 주요 시스템 레이어를 특정: 응용 프로그램, 런타임 환경, 운영 체제.
• 자원 할당, 데이터 일관성, 장애 내성과 같은 일반화된 과제들을 표준화된 분석 표를 통해 여섯 가지 특정 사용 사례에 연결하였다.
• 실세계의 버스트 버퍼 구현체, 특히 DataWarp(Cray)와 DDN 인피니트 메모리 엔진(IME)을 평가하였으며, 구현 모델과 성능 주장에 집중하였다.
• 버스트 버퍼 가속에 의해 영향을 받는 수정되지 않은 과학 응용 프로그램(예: S3D)의 벤치마크 결과를 사용하여 I/O 성능 향상을 정량화하였다.

실험 결과

연구 질문

• RQ1 노드 로컬, 중간, I/O 수준의 버스트 버퍼가 HPC 워크로드의 성능과 효율성에 어떤 영향을 미치는가?
• RQ2 여러 사용자와 응용 프로그램을 지원할 때 자원 할당, 데이터 일관성, 장애 내성과 같은 시스템 수준의 과제는 어떤가?
• RQ3 DataWarp와 DDN IME와 같은 기존의 버스트 버퍼 솔루션은 체크포인트-재시작, 인-사이트 분석, 아웃-오브-코어 컴퓨팅과 같은 핵심 HPC 사용 사례를 어느 정도 지원할 수 있는가?
• RQ4 응용 프로그램을 수정하지 않은 채로 버스트 버퍼를 도입할 경우의 영향은 무엇이며, I/O 성능과 데이터 관리에 어떤 영향을 미치는가?
• RQ5 버스트 버퍼 아키텍처는 컴퓨팅 노드와 병렬 파일 시스템 간의 데이터 이동, 스케줄링, 조율에 어떤 영향을 미치는가?

주요 결과

• DDN 인피니트 메모리 엔진(IME)은 수정되지 않은 S3D 응용 프로그램에서 최대 1,000배의 I/O 가속과 100배의 병렬 파일 시스템(PFS) 가속을 달성하여 뚜렷한 성능 향상을 보였다.
• 버스트 버퍼는 I/O 지연을 줄이고 장애 내성을 향상시켜 효율적인 체크포인트-재시작을 가능하게 하며, 특히 영구 저장소와의 조율이 병행될 경우 더욱 유리하다.
• IME가 네트워크 혼잡을 자가 관리하고 I/O 트래픽을 오프로드함으로써 고속 인터커넥트의 활용도를 높이고 PFS의 병목 현상을 줄인다.
• 버스트 버퍼는 데이터를 PFS로 전체적으로 이동시키지 않고도 실시간 데이터 처리 및 시각화를 가능하게 하여 인-사이트 및 인-트랜지트 분석을 지원한다.
• 아웃-오브-코어 응용 프로그램은 더 느린 저장소에 의존도를 낮추고, 더 빠른 중간 메모리에 데이터를 스테이징하여 주 메모리 병목 현상을 피함으로써 버스트 버퍼의 이점을 얻는다.
• 과학적 워크플로우에 버스트 버퍼를 통합하면, 공유 데이터셋이 중간 메모리 계층에 저장될 경우 구성 요소 간의 빠른 데이터 교환과 결합이 가능해진다.