[논문 리뷰] Building A High Performance Parallel File System Using Grid Datafarm and ROOT I/O

Y. Morita, Hiroyuki Satō외 6명|ArXiv.org|2003. 06. 14.

Distributed and Parallel Computing Systems참고 문헌 6인용 수 3

한 줄 요약

이 논문은 고에너지핵물리학(HENP) 실험에서 페타바이트 규모의 데이터를 관리하기 위해 그리드 데이터팜(Gfarm)과 ROOT I/O를 기반으로 한 고성능 병렬 파일 시스템을 제시한다. Gfarm의 분산 스토리지 및 복제 기능과 ROOT의 히스토ограм 및 이벤트 데이터에 대한 효율적인 I/O를 활용하여, 미국과 일본의 일곱 개 클러스터를 통해 2.3 Gbps 이상의 데이터 전송 속도를 달성했으며, 대규모 검출기 시뮬레이션을 위한 확장 가능하고 병렬적인 데이터 관리가 가능함을 입증하였다.

ABSTRACT

Sheer amount of petabyte scale data foreseen in the LHC experiments require a careful consideration of the persistency design and the system design in the world-wide distributed computing. Event parallelism of the HENP data analysis enables us to take maximum advantage of the high performance cluster computing and networking when we keep the parallelism both in the data processing phase, in the data management phase, and in the data transfer phase. A modular architecture of FADS/ Goofy, a versatile detector simulation framework for Geant4, enables an easy choice of plug-in facilities for persistency technologies such as Objectivity/DB and ROOT I/O. The framework is designed to work naturally with the parallel file system of Grid Datafarm (Gfarm). FADS/Goofy is proven to generate 10^6 Geant4-simulated Atlas Mockup events using a 512 CPU PC cluster. The data in ROOT I/O files is replicated using Gfarm file system. The histogram information is collected from the distributed ROOT files. During the data replication it has been demonstrated to achieve more than 2.3 Gbps data transfer rate between the PC clusters over seven participating PC clusters in the United States and in Japan.

연구 동기 및 목표

• LHC 실험에서 발생하는 페타바이트 규모의 데이터를 분산된 고성능 컴퓨팅 환경에서 관리하는 데 도전 과제를 해결하기 위해.
• 최적의 클러스터 활용을 위해 데이터 처리, 관리 및 전송 전반에 걸쳐 이벤트 수준의 병렬성을 보장하기 위해.
• Gfarm 병렬 파일 시스템과 ROOT I/O를 통합하여 분산된 검출기 시뮬레이션 환경에서 효율적이고 확장 가능한 데이터 영속성을 지원하기 위해.
• 지리적으로 분산된 PC 클러스터 간에 고성능 데이터 복제 및 히스토ограм 수집을 구현하기 위해.

제안 방법

• 데이터 영속성을 위한 유연한 플러그인 선택을 지원하는 Geant4 기반의 모듈식 검출기 시뮬레이션 시스템인 FADS/Goofy 프레임워크를 활용하였다.
• 다중 클러스터 간 데이터 분포, 복제 및 액세스를 관리하기 위해 Gfarm을 기반 병렬 파일 시스템으로 사용하였다.
• 이벤트 및 히스토ограм 데이터의 효율적 저장 및 검색을 위해 ROOT I/O를 활용하여 고성능 I/O 스루풋을 지원하였다.
• Gfarm의 분산 복제 메커니즘을 활용하여 미국과 일본의 일곱 개 클러스터 간 데이터 복제를 구현하였다.
• 중앙 집중화 없이 분산된 ROOT 파일에서 히스토ограм 정보를 수집하여 글로벌 분석을 가능하게 하였다.
• 처리, 관리 및 전송 단계 전반에 걸쳐 데이터 병렬성을 유지함으로써 고성능를 달성하였다.

실험 결과

연구 질문

• RQ1 분산 컴퓨팅 인fra에서 페타바이트 규모의 HENP 데이터를 관리하기 위해 확장 가능하고 고성능의 병렬 파일 시스템을 아키텍처적으로 설계할 수 있는가?
• RQ2 Gfarm를 사용하여 지리적으로 분산된 클러스터 간에 대규모 ROOT I/O 파일을 복제할 때 도달 가능한 데이터 전송 속도는 얼마인가?
• RQ3 FADS/Goofy와 같은 모듈식 시뮬레이션 프레임워크가 Gfarm와 ROOT I/O를 효과적으로 통합하여 고성능 데이터 관리를 지원할 수 있는가?
• RQ4 분산 환경에서 데이터 처리, 관리 및 전송 단계 전반에 걸쳐 이벤트 수준의 병렬성이 어떻게 유지될 수 있는가?
• RQ5 다중 클러스터 환경에서 Gfarm의 복제 기능과 ROOT의 I/O 최적화를 결합함으로써 얻는 성능 향상은 무엇인가?

주요 결과

• 512개 CPU를 갖춘 PC 클러스터를 사용하여 100만 개의 Geant4 기반 Atlas Mockup 이벤트를 성공적으로 생성하여 확장성과 성능을 검증하였다.
• 미국과 일본의 일곱 개 클러스터 간 데이터 복제에서 지속적인 전송 속도가 2.3 Gbps를 초과하여 고성능 네트워크 및 I/O 효율성을 입증하였다.
• 중앙 집중화 없이 분산된 ROOT 파일에서 히스토ограм 데이터를 효율적으로 수집하여 확장 가능한 분석이 가능해졌다.
• FADS/Goofy와 Gfarm, ROOT I/O의 통합은 최소한의 성능 오버헤드로 원활한 모듈식 데이터 영속성을 가능하게 하였다.
• 아키텍처는 종단 간 이벤트 병렬성을 유지하여 고성능 클러스터와 네트워크의 활용도를 극대화하였다.
• 이 솔루션은 대규모 분산 HENP 데이터 워크로드에 효과적이며, 향후 페타바이트 규모의 데이터 관리 요구사항을 충족하는 데 유용하다.