[论文解读] Building A High Performance Parallel File System Using Grid Datafarm and ROOT I/O

Y. Morita, Hiroyuki Satō+6 more|ArXiv.org|Jun 14, 2003

Distributed and Parallel Computing Systems参考文献 6被引用 3

一句话总结

本文提出了一种基于Grid Datafarm（Gfarm）和ROOT I/O的高性能并行文件系统，用于管理高能核物理（HENP）实验中的petabyte规模数据。通过结合Gfarm的分布式存储与复制能力，以及ROOT对直方图和事件数据的高效I/O处理，该系统在美国和日本的七个集群之间实现了超过2.3 Gbps的数据传输速率，展示了在大规模探测器模拟中可扩展的并行数据管理能力。

ABSTRACT

Sheer amount of petabyte scale data foreseen in the LHC experiments require a careful consideration of the persistency design and the system design in the world-wide distributed computing. Event parallelism of the HENP data analysis enables us to take maximum advantage of the high performance cluster computing and networking when we keep the parallelism both in the data processing phase, in the data management phase, and in the data transfer phase. A modular architecture of FADS/ Goofy, a versatile detector simulation framework for Geant4, enables an easy choice of plug-in facilities for persistency technologies such as Objectivity/DB and ROOT I/O. The framework is designed to work naturally with the parallel file system of Grid Datafarm (Gfarm). FADS/Goofy is proven to generate 10^6 Geant4-simulated Atlas Mockup events using a 512 CPU PC cluster. The data in ROOT I/O files is replicated using Gfarm file system. The histogram information is collected from the distributed ROOT files. During the data replication it has been demonstrated to achieve more than 2.3 Gbps data transfer rate between the PC clusters over seven participating PC clusters in the United States and in Japan.

研究动机与目标

• 为解决在分布式高性能计算环境中管理大型强子对撞机（LHC）实验产生的petabyte规模数据的挑战。
• 在数据处理、管理和传输中实现端到端的事件并行性，以实现集群资源的最优利用。
• 将ROOT I/O与Gfarm并行文件系统集成，以支持在分布式探测器模拟中实现高效、可扩展的数据持久化。
• 在地理分布的PC集群之间演示高吞吐量的数据复制与直方图聚合。

提出的方法

• 采用FADS/Goofy框架（基于Geant4的模块化探测器模拟系统），通过灵活的插件选择支持数据持久化。
• 使用Gfarm作为底层并行文件系统，以管理跨多个集群的数据分发、复制和访问。
• 利用ROOT I/O高效地存储和检索事件与直方图数据，支持高I/O吞吐量。
• 通过Gfarm的分布式复制机制，在美国和日本的七个集群之间实现数据复制。
• 从分布式的ROOT文件中收集直方图信息，支持全局分析而无需集中化数据。
• 通过在整个处理、管理和传输阶段保持数据并行性，实现高性能。

实验结果

研究问题

• RQ1 如何设计一个可扩展的高性能并行文件系统，以在分布式计算基础设施中管理petabyte规模的HENP数据？
• RQ2 在使用Gfarm将大规模ROOT I/O文件复制到地理分布的集群时，可实现的传输速率是多少？
• RQ3 像FADS/Goofy这样的模块化模拟框架能否有效集成Gfarm和ROOT I/O，以支持高吞吐量的数据管理？
• RQ4 在分布式环境中，如何在数据处理、管理和传输阶段保持事件级别的并行性？
• RQ5 在多集群环境中，结合Gfarm的复制机制与ROOT的I/O优化能带来多大的性能提升？

主要发现

• 该系统成功使用512个CPU的PC集群生成了100万次Geant4模拟的Atlas模拟事件，验证了其可扩展性和性能。
• 在美国和日本的七个集群之间实现的数据复制，持续传输速率超过2.3 Gbps，证明了网络与I/O的高效率。
• 从分布式的ROOT文件中高效收集了直方图数据，无需数据集中化，支持可扩展的分析。
• FADS/Goofy与Gfarm及ROOT I/O的集成实现了无缝、模块化的数据持久化，性能开销极低。
• 该架构保持了端到端的事件并行性，最大化利用了高性能集群和网络资源。
• 该解决方案在大规模分布式HENP数据工作负载中表现有效，可支持未来petabyte规模的数据管理需求。