[논문 리뷰] High Performance Data Persistence in Non-Volatile Memory for Resilient High Performance Computing

Yingchao Huang, Kai Wu외 1명|arXiv (Cornell University)|2017. 04. 30.

Advanced Data Storage Technologies참고 문헌 29인용 수 3

한 줄 요약

이 논문은 고성능 HPC 시스템에서 높은 빈도로 데이터 영속성을 보장하기 위해 주기억장치로 비버니시브 메모리(NVM)를 사용하는 것을 제안한다. 기존의 체크포인팅에서 비용이 많이 드는 데이터 복사 과정을 제거함으로써, 이를 통해 평균 런타임 오버헤드가 4.4%에 불과한 지속 가능한 체크포인트를 달성한다. 현장 버전 관리와 최적화된 캐시 플러시를 도입함으로써, 재계산과 내구성의 딜레마를 극복한다.

ABSTRACT

Resilience is a major design goal for HPC. Checkpoint is the most common method to enable resilient HPC. Checkpoint periodically saves critical data objects to non-volatile storage to enable data persistence. However, using checkpoint, we face dilemmas between resilience, recomputation and checkpoint cost. The reason that accounts for the dilemmas is the cost of data copying inherent in checkpoint. In this paper we explore how to build resilient HPC with non-volatile memory (NVM) as main memory and address the dilemmas. We introduce a variety of optimization techniques that leverage high performance and non-volatility of NVM to enable high performance data persistence for data objects in applications. With NVM we avoid data copying; we optimize cache flushing needed to ensure consistency between caches and NVM. We demonstrate that using NVM is feasible to establish data persistence frequently with small overhead (4.4% on average) to achieve highly resilient HPC and minimize recomputation.

연구 동기 및 목표

• 더 짧은 평균 고장 간격(MTBF)으로 인해 더 자주 체크포인트가 필요해지는 미래의 HPC 시스템에서 내구성의 딜레마를 해결하기 위해.
• 자주 체크포인트를 찍을수록 데이터 손실는 감소하지만, 데이터 복사로 인한 높은 오버헤드가 발생하는 재계산의 딜레마를 극복하기 위해.
• NVM의 비버니시브성과 고성능을 활용하여 기존의 체크포인팅에서 데이터 복사를 제거하기 위해.
• 운영체제나 하드웨어 수정 없이 소프트웨어 전용 솔루션을 개발하여 캐시와 NVM 간의 데이터 일관성을 보장하기 위해.
• 지속 가능한 체크포인팅의 런타임 오버헤드를 최소화하여 높은 빈도로 효율적인 데이터 영속성을 실현함으로써, 내구성 있는 HPC 실행을 가능하게 하기 위해.

제안 방법

• 응용프로그램 내재된 쓰기 연산을 활용하여 NVM에 직접적으로 새로운 데이터 객체 버전을 생성함으로써 명시적인 데이터 복사 없이도 데이터를 업데이트하는 현장 버전 관리 기법을 도입한다.
• 프로그래머가 저수준 세부사항을 숨기기 위해 소스 코드에 현장 버전 관리를 자동으로 적용할 수 있도록 변환 규칙을 도출한다.
• 버전 생성 후 CPU 캐시와 NVM 간의 일관성을 확보하기 위해 사전 캐시 플러시를 구현하며, 신규 버전의 모든 블록을 플러시한다.
• 캐시를 건너뛰고 메모리 간 데이터 이동을 줄이기 위해 SIMD 기반 비임시 명령어(MOVDQU 등)를 사용하여 캐시 플러시를 최적화한다.
• 캐시 플러시 작업을 병렬화하여 체크포인팅 기간 동안 성능을 향상시키고 지연을 감소시킨다.
• 에포크 기반 모델을 사용하여 지속적 쓰기 작업을 관리하며, 버전 생성에서 캐시 플러시까지의 기간을 하나의 에포크로 간주하여 동시 지속적 쓰기 작업을 허용한다.

실험 결과

연구 질문

• RQ1 NVM 기반 주기억장치가 HPC 체크포인팅에서 데이터 복사를 완전히 제거함으로써 내구성과 재계산의 딜레마를 해결할 수 있는가?
• RQ2 어떻게 하면 응용프로그램에 명시적인 데이터 이동 없이도 현장 버전 관리를 자동으로 적용하여 영속적 데이터 버전을 생성할 수 있는가?
• RQ3 캐시 플러시의 성능 오버헤드를 최소화하기 위한 최적화 기법은 무엇인가?
• RQ4 운영체제나 하드웨어 지원 없이도 소프트웨어 전용 접근 방식이 데이터 일관성을 보장하면서 낮은 런타임 오버헤드를 달성할 수 있는가?
• RQ5 NVM를 활용하여 얼마나 자주이고 저오버헤드로 데이터 영속성을 실현할 수 있는가? 이를 통해 재계산를 최소화하고 HPC의 내구성을 향상시킬 수 있는가?

주요 결과

• 제안된 현장 버전 관리 기법은 응용프로그램의 쓰기 연산을 활용하여 NVM에 직접 데이터를 업데이트함으로써 체크포인팅에서 데이터 복사를 완전히 제거한다.
• SIMD 기반 비임시 명령어와 병렬 캐시 플러시 최적화를 통해 지속 가능한 체크포인팅의 평균 런타임 오버헤드가 4.4%로 감소한다.
• 비optimistic한 NVM 성능 가정 조건에서도 기존의 NVM 기반 체크포인팅은 여전히 최대 46%의 오버헤드를 겪는다. 이는 복사 방지 기법의 필요성을 강조한다.
• 사전 캐시 플러시 전략은 캐시와 NVM 간의 데이터 일관성을 확보하지만,脏 블록 추적 기능이 없어 비용이 발생한다.
• 높은 내구성을 달성하기 위해 성능 영향을 최소화하면서 빈번한 데이터 영속성을 실현함으로써, 장애 발생 후 재계산를 크게 감소시킨다.
• 운영체제나 하드웨어 수정 없이도 구현 가능하므로 기존 HPC 환경에 쉽게 도입할 수 있다.