[논문 리뷰] Development of a Burst Buffer System for Data-Intensive Applications

Teng Wang, Sarp Oral외 3명|arXiv (Cornell University)|2015. 05. 07.

Advanced Data Storage Technologies참고 문헌 5인용 수 5

한 줄 요약

이 논문은 데이터 집약적 과학적 응용 프로그램에서 I/O 병목 현상을 완화하기 위해 러스트러 병렬 파일시스템과 통합된 고성능 버스트 버퍼 시스템을 제안한다. 일致한 해싱과 계층적 스토리지(DRAM/SSD)를 활용한 클라이언트-서버 아키텍처를 통해 체크포인팅 I/O를 가속화하여, 네이티브 러스트러 대비 2.78배 성능 향상을 달성했으며, 메모리에 맞는 데이터일 경우 최대 980 MB/s의 인그레스 대역폭을 확보했다.

ABSTRACT

Modern parallel filesystems such as Lustre are designed to provide high, scalable I/O bandwidth in response to growing I/O requirements; however, the bursty I/O characteristics of many data-intensive scientific applications make it difficult for back-end parallel filesystems to efficiently handle I/O requests. A burst buffer system, through which data can be temporarily buffered via high-performance storage mediums, allows for gradual flushing of data to back-end filesystems. In this paper, we explore issues surrounding the development of a burst buffer system for data-intensive scientific applications. Our initial results demonstrate that utilizing a burst buffer system on top of the Lustre filesystem shows promise for dealing with the intense I/O traffic generated by application checkpointing.

연구 동기 및 목표

• 초고성능 컴퓨팅 성능과 스토리지 시스템의 확장성 간의 증가하는 I/O 대역폭 격차를 해소하기 위해.
• 특히 체크포인팅 동안 발생하는 급격한 I/O 패턴으로 인한 I/O 병목 현상을 완화하기 위해.
• 고성능 스토리지에 데이터를 버퍼링하여 계산과 I/O를 분리하는 신뢰성 있고 확장 가능한 버스트 버퍼 시스템을 설계하기 위해.
• 버스트 버퍼 서버 장애 발생 시 신속한 충돌 복구와 장애 내성 기능을 제공하기 위해.
• 버스트 버퍼 서버 간의 데이터 분포 및 플러시를 최적화하여 워크로드 균형을 맞추고 최대 대 throughput을 달성하기 위해.

제안 방법

• 클라이언트를 계산 노드에, 서버를 버스트 버퍼 노드에서 데몬으로 배포하고, 서버 링을 유지하기 위한 중앙 집중식 매니저를 도입한 3-tier 아키텍처를 구현한다.
• 일관된 해싱을 사용해 키-값 쌍을 서버 간에 분산 배포하여 효율적인 워크로드 균형과 동적 확장성을 확보한다.
• 서버 간 협업 메커니즘을 구현: 과부하가 걸린 서버가 이웃 서버의 가용 메모리 상태를 쿼리하고, 클라이언트를 저부하 서버로 리디렉션한다.
• 하이브리드 스토리지(DRAM 및 SSD)를 활용해 고속도 I/O를 수용하며, 메모리가 소진되면 데이터를 SSD로 스플릿한다.
• Infiniband로 연결된 노드와 IOR 벤치마크를 사용해 다양한 구성과 워크로드 환경에서 성능을 평가한다.
• 실제 워크로드의 버스트 버퍼 동작을 시뮬레이션하기 위해 로그 기반 쓰기 패턴을 적용하고, SSD 사용 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 과학적 응용 프로그램의 체크포인팅에서 발생하는 급격한 I/O 트래픽을 버스트 버퍼 시스템이 효과적으로 수용할 수 있는가?
• RQ2 버스트 버퍼 서버에서 균형 잡힌 데이터 분포를 확보하고 성능 병목 현상을 방지하기 위한 메커니즘은 무엇인가?
• RQ3 계층적 스토리지 모델에서 DRAM과 SSD를 통합함으로써 I/O 대 throughput과 지연 시간에 어떤 영향을 미치는가?
• RQ4 백엔드 병렬 파일시스템에 직접 I/O를 수행하는 것과 비교해, 버스트 버퍼 시스템이 I/O 성능을 얼마나 향상시킬 수 있는가?
• RQ5 서버 장애 발생 시 시스템은 어떻게 신뢰성을 유지하고 신속한 충돌 복구를 가능하게 하는가?

주요 결과

• ISO 데이터 배치 전략을 사용할 경우, 네이티브 IOR-SF 대비 평균 278.2% 향상되고, IOR-SFP 대비 174.5% 향상된 성능을 기록했다.
• BB-IOR-ISO가 가장 높은 성능을 보였으며, 데이터가 완전히 메모리에 맞을 경우(4GB 할당) 최대 980 MB/s의 인그레스 대역폭을 달성했다.
• 하이브리드 메모리/SSD(BB-IOR-HYB) 환경에서 성능은 302.29 MB/s에 도달했으며, 최적화된 쓰기 순서 덕분에 직접 SSD I/O(166.7 MB/s)보다 뚜렷한 성능 향상을 보였다.
• 모든 데이터가 SSD로 스플릿된 bbIORSSD 케이스는 198.83 MB/s의 성능을 기록했으며, SSD 순차 쓰기 성능(205.99 MB/s)과 유사하여 효율적인 로그 기반 쓰기의 타당성을 입증했다.
• 서버 수 증가에 따라 비례하는 대역폭 증가를 보이며, 특히 ISO 전략에서 강한 확장성을 입증했다.
• 버스트 버퍼 없이 SATA HDD에 직접 I/O를 수행한 경우, 성능은 단지 27.11 MB/s에 머물러, 버퍼링이 I/O 경쟁을 줄이는 데 핵심적인 역할을 한다는 점을 입증했다.