[논문 리뷰] Noncontiguous I/O through PVFS

Avery Ching, Alok Choudhary외 3명|ArXiv.org|2002. 07. 29.

Advanced Data Storage Technologies참고 문헌 10인용 수 5

한 줄 요약

이 논문은 고성능 계산(HPC) 환경에서 I/O 성능을 향상시키기 위해 병렬 가상 파일 시스템(PVFS)에 통합된 비연속 I/O 메커니즘인 리스트 I/O를 제안한다. 파일 시스템 수준에서 산산이 흩어진 I/O 작업을 최적화함으로써 리스트 I/O는 오버헤드를 감소시키고 다양한 워크로드에서 기존의 비연속 I/O 방법보다 뛰어난 성능을 보이며, 실제 과학 응용 프로그램의 성능을 크게 향상시킨다.

ABSTRACT

With the tremendous advances in processor and memory technology, I/O has risen to become the bottleneck in high-performance computing for many applications. The development of parallel file systems has helped to ease the performance gap, but I/O still remains an area needing significant performance improvement. Research has found that noncontiguous I/O access patterns in scientific applications combined with current file system methods to perform these accesses lead to unacceptable performance for large data sets. To enhance performance of noncontiguous I/O we have created list I/O, a native version of noncontiguous I/O. We have used the Parallel Virtual File System (PVFS) to implement our ideas. Our research and experimentation shows that list I/O outperforms current noncontiguous I/O access methods in most I/O situations and can substantially enhance the performance of real-world scientific applications.

연구 동기 및 목표

• 과학 응용 프로그램에서 발생하는 비연속 I/O 접근 패턴으로 인한 증가하는 I/O 병목 현상을 해결하기 위해.
• 대규모 데이터셋에서 산산이 흩어진 I/O 작업을 처리하는 데 있어 기존 파일 시스템 방법의 성능 한계를 극복하기 위해.
• PVFS 프레임워크 내부에 내재된 비연속 I/O 메커니즘인 리스트 I/O를 설계하고 구현하여 I/O 효율성을 향상시키기 위해.
• 다양한 I/O 워크로드와 시스템 구성에서 기존의 비연속 I/O 기법과 리스트 I/O의 성능을 평가하기 위해.

제안 방법

• 저자는 PVFS 내부에 리스트 I/O를 나이브 I/O 인터페이스로 설계하여, 응용 프로그램이 여러 개의 비연속 I/O 요청을 단일 작업으로 제출할 수 있도록 허용한다.
• 리스트 I/O는 산산이 흩어진 I/O 요청을 단일 시스템 콜로 집계함으로써 개별 시스템 콜 대비 커널 및 파일 시스템 오버헤드를 감소시킨다.
• PVFS의 아키텍처를 활용하여 다수의 스토리지 서버에 걸쳐 I/O 요청을 효율적으로 관리함으로써 지연 시간을 최소화하고 대역폭 활용도를 극대화한다.
• 비연속 영역에 대한 메타데이터를 유지하기 위해 요청 목록 구조를 사용하여 효율적인 스케줄링과 데이터 검색을 가능하게 한다.
• I/O 스루풋과 지연 시간을 측정하기 위해 합성 벤치마크와 실제 과학 응용 프로그램을 사용하여 성능 평가를 수행했다.
• 다양한 I/O 패턴, 크기, 동시 프로세스 수를 가진 클러스터 환경에서 접근 방법을 평가했다.

실험 결과

연구 질문

• RQ1 PVFS와 같은 병렬 파일 시스템에서 나이브 비연속 I/O 메커니즘이 기존의 시스템 콜 기반 접근 방식에 비해 I/O 오버헤드를 크게 줄일 수 있는가?
• RQ2 리스트 I/O는 소형 및 대형 비연속 전송을 포함한 다양한 I/O 접근 패턴에서 어떻게 성능을 발휘하는가?
• RQ3 실제 과학 응용 프로그램에서 비정규적인 I/O 워크로드를 가진 경우 리스트 I/O는 성능 향상에 얼마나 기여하는가?
• RQ4 I/O 요청 수와 동시 프로세스 수가 증가함에 따라 리스트 I/O의 확장성은 어떠한가?

주요 결과

• 리스트 I/O는 비정규적인 접근 패턴을 가진 응용 프로그램에서 기존의 비연속 I/O 방법보다 뛰어난 성능을 보이며, 대부분의 I/O 시나리오에서 슈퍼어리어를 기록한다.
• 시스템 콜 오버헤드가 지배적인 소형 및 중형 비연속 I/O 요청에서 성능 향상이 가장 두드러진다.
• 리스트 I/O는 시스템 콜 수를 줄이고 요청 배치를 최적화함으로써 I/O 지연 시간을 감소시키고 스루풋을 증가시킨다.
• 실제 과학 응용 프로그램은 리스트 I/O를 사용할 경우 측정 가능한 성능 향상을 보였으며, 이는 리스트 I/O가 실생산 HPC 환경에서 실질적인 이점을 제공한다는 것을 확인한다.
• I/O 요청 수와 동시 프로세스 수가 증가함에 따라 리스트 I/O는 잘 확장되며 일관된 성능 향상을 유지한다.