[논문 리뷰] Parallel netCDF: A Scientific High-Performance I/O Interface

Jianwei Li, Wei‐keng Liao외 5명|ArXiv.org|2003. 06. 11.

Advanced Data Storage Technologies참고 문헌 12인용 수 33

한 줄 요약

이 논문은 MPI-IO를 사용하여 고성능 집합적 I/O를 가능하게 하기 위해 시리얼 netCDF API에 최소한의 변경을 가하여 병렬 netCDF I/O 인터페이스를 제안한다. 실제 벤치마크에서 병렬 HDF5보다 I/O 속도를 두 배까지 향상시키며, 특히 FLASH 애플리케이션에서 뚜렷한 성능 향상을 보였고, 프로그래밍의 단순성과 이식성도 유지한다.

ABSTRACT

Dataset storage, exchange, and access play a critical role in scientific applications. For such purposes netCDF serves as a portable and efficient file format and programming interface, which is popular in numerous scientific application domains. However, the original interface does not provide an efficient mechanism for parallel data storage and access. In this work, we present a new parallel interface for writing and reading netCDF datasets. This interface is derived with minimum changes from the serial netCDF interface but defines semantics for parallel access and is tailored for high performance. The underlying parallel I/O is achieved through MPI-IO, allowing for dramatic performance gains through the use of collective I/O optimizations. We compare the implementation strategies with HDF5 and analyze both. Our tests indicate programming convenience and significant I/O performance improvement with this parallel netCDF interface.

연구 동기 및 목표

• 대규모 데이터셋을 처리하는 병렬 과학적 응용 프로그램에서 시리얼 netCDF I/O의 성능 저하 문제를 해결한다.
• 기존의 단순하고 이식 가능한 시리얼 API를 훼손하지 않은 채, netCDF 파일에 대해 동시이고 집합적인 I/O 접근을 가능하게 한다.
• MPI-IO를 활용한 집합적 I/O 최적화를 통해 확장 가능한 데이터 접근을 지원하는 고성능이고 이식 가능한 I/O 인터페이스를 개발한다.
• netCDF 관례와의 호환성과 사용 용이성을 유지하면서도, 기존의 병렬 I/O 솔루션인 HDF5보다 I/O 효율성을 뛰어나게 한다.
• 과학 분야의 고성능 계산 워크로드를 위한 실용적이고 생산용으로 사용 가능한 표준으로 병렬 netCDF를 정립한다.

제안 방법

• 기존 사용자에게 익숙한 느낌을 유지하기 위해, 시리얼 netCDF API에 최소한의 문법적 및 의미적 변경을 가하여 병렬 접근을 지원하도록 확장한다.
• MPI-IO 위에 인터페이스를 구현하여, 집합적 I/O 연산을 활용해 시스템 호출 수를 줄이고 I/O 스루풋을 향상시킨다.
• MPI-IO에서 두 단계 I/O 전략을 사용하여, 작은 비연속적 I/O 요청을 더 큰 연속적 운영으로 통합함으로써 I/O 오버헤드를 최소화한다.
• netCDF의 메타데이터 이식성과 자가기반 파일 의미 체계를 유지하면서도, 여러 프로세스 간 병렬 쓰기 및 읽기 작업을 가능하게 한다.
• FLASH 코드와 같은 과학적 응용에서 흔한 블록 기반 연속 데이터 접근 패턴을 지원하도록 인터페이스를 설계한다.
• HDF5의 재귀적 hyperslab 팩킹 방식과는 달리, 상호 프로세스 동기화를 최소화하고 메타데이터 처리 오버헤드를 줄여 파일 접근을 최적화한다.

실험 결과

연구 질문

• RQ1 MPI-IO를 사용한 고성능 집합적 I/O를 가능하게 하기 위해 시리얼 API에 최소한의 변경을 가한 병렬 netCDF 인터페이스를 설계할 수 있는가?
• RQ2 실제 과학적 I/O 워크로드에서 제안된 병렬 netCDF 인터페이스의 성능은 병렬 HDF5와 비교해 어떻게 되는가?
• RQ3 병렬 netCDF I/O는 시리얼 netCDF I/O에 비해 다중 프로세스 과학적 응용에서 I/O 병목 현상을 얼마나 줄일 수 있는가?
• RQ4 HDF5와 비교했을 때, 메타데이터 처리 및 상호 프로세스 동기화는 병렬 netCDF 인터페이스의 I/O 성능에 어떤 영향을 미치는가?
• RQ5 사용 용이성과 이식성은 유지하면서도, HDF5보다 더 높은 I/O 확장성과 낮은 오버헤드를 달성할 수 있는가?

주요 결과

• 병렬 netCDF 인터페이스는 프로세스 수가 증가할수록 기존의 시리얼 netCDF보다 훨씬 높은 I/O 성능을 달성한다.
• FLASH I/O 벤치마크에서, 병렬 netCDF는 내부 동기화와 메타데이터 오버헤드가 줄어들어 전체 I/O 속도를 거의 두 배로 끌어올린다.
• 성능 향상의 원인은 HDF5의 재귀적 처리 및 파일 헤더 접근 방식과는 달리, 병렬 netCDF에서 상호 프로세스 통신을 최소화하고 더 효율적인 hyperslab 팩킹을 구현했기 때문이다.
• 인터페이스는 낮은 통신 오버헤드를 유지하며, 큰 파일 크기를 사용할 경우 디스크 I/O에 비해 무시할 수 없을 정도로 낮다.
• 고정된 I/O 노드 및 디스크 용량 제약로 인해 선형적이지는 않지만, 프로세스 수에 따라 I/O 대역폭이 효과적으로 스케일링된다.
• MPI-IO의 집합적 I/O 최적화 기반으로 최소한의 API 변경만으로도 상당한 성능 향상을 이룰 수 있음을 구현을 통해 입증했다.