[論文レビュー] Building A High Performance Parallel File System Using Grid Datafarm and ROOT I/O

Y. Morita, Hiroyuki Satō+6 more|ArXiv.org|Jun 14, 2003

Distributed and Parallel Computing Systems参考文献 6被引用数 3

ひとこと要約

本論文では、高エネルギー核物理学（HENP）実験におけるペタバイトスケールのデータを管理するため、Grid Datafarm（Gfarm）とROOT I/Oに基づく高性能並列ファイルシステムを提案する。Gfarmの分散ストレージおよびレプリケーション機能と、ヒストограмおよびイベントデータのためのROOTの効率的 I/O を統合することで、米国および日本の7つのクラスタをカバーするデータ転送速度が2.3 Gbpsを超えた。これは、大規模な検出器シミュレーションにおけるスケーラブルで並列なデータ管理の有効性を示している。

ABSTRACT

Sheer amount of petabyte scale data foreseen in the LHC experiments require a careful consideration of the persistency design and the system design in the world-wide distributed computing. Event parallelism of the HENP data analysis enables us to take maximum advantage of the high performance cluster computing and networking when we keep the parallelism both in the data processing phase, in the data management phase, and in the data transfer phase. A modular architecture of FADS/ Goofy, a versatile detector simulation framework for Geant4, enables an easy choice of plug-in facilities for persistency technologies such as Objectivity/DB and ROOT I/O. The framework is designed to work naturally with the parallel file system of Grid Datafarm (Gfarm). FADS/Goofy is proven to generate 10^6 Geant4-simulated Atlas Mockup events using a 512 CPU PC cluster. The data in ROOT I/O files is replicated using Gfarm file system. The histogram information is collected from the distributed ROOT files. During the data replication it has been demonstrated to achieve more than 2.3 Gbps data transfer rate between the PC clusters over seven participating PC clusters in the United States and in Japan.

研究の動機と目的

• 大型強衝突型加速器（LHC）実験が生成するペタバイトスケールのデータを、分散型のハイパフォーマンスコンピューティング環境で効果的に管理する課題に対処すること。
• 最適なクラスタ利用を実現するため、データ処理、管理、転送の全工程にわたりエンドツーエンドのイベント並列処理を可能にすること。
• Gfarm 並列ファイルシステムと ROOT I/O を統合し、分散検出器シミュレーションにおける効率的でスケーラブルなデータ永続化を支援すること。
• 地理的に分散したPCクラスタ間で、高スルーレートのデータレプリケーションおよびヒストограм収集を実証すること。

提案手法

• データ永続化のための柔軟なプラグイン選択を可能にするGeant4ベースのモジュラーディテクターシミュレーションシステム、FADS/Goofyフレームワークを採用した。
• 複数のクラスタにまたがるデータの配布、レプリケーション、アクセス管理を担う基盤としてGfarmを採用した。
• イベントおよびヒストограмデータの効率的ストレージとリクエストを実現するため、ROOT I/Oを活用した。
• Gfarmの分散レプリケーションメカニズムを用いて、米国および日本の7つのクラスタ間でのデータレプリケーションを実施した。
• データを中央集約せずに、分散したROOTファイルからヒストグラム情報を収集することで、グローバルな分析を可能にした。
• 処理、管理、転送フェーズの全工程にわたり、データ並列性を維持することで、高いパフォーマンスを達成した。

実験結果

リサーチクエスチョン

• RQ1 分散コンピューティングインfraストラクチャに跨るペタバイトスケールの HENP データを効果的に管理するためのスケーラブルで高性能な並列ファイルシステムをどのようにアーキテクチャ設計できるか？
• RQ2 Gfarm を用いて、地理的に分散したクラスタ間で大規模な ROOT I/O ファイルをレプリケートする際、達成可能なデータ転送速度はどの程度か？
• RQ3 FADS/Goofy のようなモジュラーシミュレーションフレームワークは、Gfarm および ROOT I/O と効果的に統合可能であり、高スルーレートのデータ管理を可能にするか？
• RQ4 分散環境において、データ処理、管理、転送フェーズの全工程にわたり、イベントレベルの並列性をどのように維持できるか？
• RQ5 複数クラスタ環境において、Gfarm のレプリケーション機能と ROOT の I/O 最適化を組み合わせることで、どの程度のパフォーマンス向上が達成できるか？

主な発見

• 512 CPU を搭載した PC クラスタを用いて、100万件の Geant4 による Atlas モックアップイベントを正常に生成し、スケーラビリティおよびパフォーマンスの妥当性を検証した。
• 米国および日本の7つのクラスタ間でのデータレプリケーションにおいて、持続的な転送速度が2.3 Gbpsを超えた。これは、ネットワークおよび I/O の効率性の高さを示している。
• データを中央集約せず、分散した ROOT ファイルからヒストグラムデータを効率的に収集でき、スケーラブルな分析を可能にした。
• FADS/Goofy と Gfarm および ROOT I/O の統合により、最小限のパフォーマンスオーバーヘッドでシームレスでモジュラーなデータ永続化が実現した。
• アーキテクチャはエンドツーエンドのイベント並列性を維持し、ハイパフォーマンスクラスタおよびネットワークの最大限の活用を可能にした。
• 本ソリューションは、大規模かつ分散型の HENP データワークロードに対して有効であることが実証され、将来のペタバイトスケールのデータ管理ニーズを満たすものとなった。