[論文レビュー] The PROOF Distributed Parallel Analysis Framework based on ROOT

M. Ballintijn, René Brun+2 more|ArXiv.org|Jun 13, 2003

Distributed and Parallel Computing Systems参考文献 1被引用数 34

ひとこと要約

この論文では、ROOT上で構築された分散並列解析フレームワークであるPROOFを提示する。このフレームワークにより、物理学者は異種のクラスタを用いて大規模データセットをインタラクティブに解析できる。マスターサーバーとスレーブサーバーを備えた3層アーキテクチャとTSelectorフレームワークを活用することで、PROOFは高いスケーラビリティを実現した。32ノードで8.8 GBのデータを12秒で処理し、88%の効率とほぼ線形のスループット向上を達成した。今後はグローバルなグリッド環境への統合を計画している。

ABSTRACT

The development of the Parallel ROOT Facility, PROOF, enables a physicist to analyze and understand much larger data sets on a shorter time scale. It makes use of the inherent parallelism in event data and implements an architecture that optimizes I/O and CPU utilization in heterogeneous clusters with distributed storage. The system provides transparent and interactive access to gigabytes today. Being part of the ROOT framework PROOF inherits the benefits of a performant object storage system and a wealth of statistical and visualization tools. This paper describes the key principles of the PROOF architecture and the implementation of the system. We will illustrate its features using a simple example and present measurements of the scalability of the system. Finally we will discuss how PROOF can be interfaced and make use of the different Grid solutions.

研究の動機と目的

• 分散コンピューティングクラスタを用いて、大規模データセットのインタラクティブかつ透明な解析を可能にすること。
• ローカルワークステーションの制限を超えて、異種で地理的に分散したクラスタにわたり解析をスケーリングすること。
• 負荷の変動やネットワーク障害などの動的クラスタ状態に適応できるようにすること。
• グローバル仮想クラスタの展開を可能にするために、グリッドミドルウェアとシームレスに統合すること。
• 従来のROOTワークフローとの互換性を維持しつつ、並列実行を可能にすること。

提案手法

• PROOFは3層アーキテクチャを採用している：クライアント、マスターサーバー、およびクラスターノード上の複数のスレーブサーバー。
• 作業はプルベースのプロトコルにより分散され、スレーブはノードの性能に応じてサイズが異なるパケットを要求することで、負荷をバランスさせる。
• TSelectorフレームワークにより、ユーザーは一度のコード記述で、ローカルのワークステーションでも、クラスタでも並列実行が可能になる。
• 各スレーブはデータパケットを独立して処理し、部分的な結果をマスターサーバーに送信してマージする。
• 通信オーバーヘッドと性能のばらつきを最小限に抑えるために、パケットサイズを動的に調整することで動的負荷分散を実現する。
• AliEnなどのグリッドミドルウェアとの統合により、リモートジョブの送信、ファイルカタログへのアクセス、リソースブローカー機能が可能になり、仮想グローバルクラスタの構築が可能になる。

実験結果

リサーチクエスチョン

• RQ1 分散・異種のクラスタにスケーリングする際、大規模データ解析をどのようにしてインタラクティブかつ透明に実現できるか？
• RQ2 動的クラスタ環境において、効率的な負荷分散とフェイルセーフを実現するアーキテクチャ設計は何か？
• RQ3 PROOFは、ノード数の増加に伴い、どの程度までほぼ線形のスケーリングを達成できるか？
• RQ4 既存のグリッドミドルウェアとどう統合することで、グローバル仮想クラスタのサポートが可能になるか？
• RQ5 同じ解析コードが、変更なしにローカルでもクラスタでも効率的に実行可能か？

主な発見

• PROOFは27倍の高速化を達成し、8.8 GBのデータセットについて、1ノードで325秒かかっていた解析を32ノードで12秒に短縮した。
• 32ノードのクラスタ上で88%の効率を示し、強力なスケーラビリティと効果的な負荷分散を裏付けた。
• 64 CPU（1ノードあたり2スレーブ）を用いた場合、ほぼ線形のスケーリングを維持したが、SMPのオーバーヘッドとリソース競合のため、効率が低下した。
• TSelectorフレームワークにより、ローカル実行と並列実行の間でコードの再利用がスムーズに行われ、透明性と一貫性が保証された。
• PROOFは、4台のデュアルプロセッサマシンに8スレーブを割り当て、240 MBのデータを12秒でインタラクティブに解析することに成功した。
• パケットサイズのチューニングによる動的負荷適応を備えており、少なくとも100ノードのクラスタまで効率的にスケーリング可能である。