[論文レビュー] HEP Applications Evaluation of the EDG Testbed and Middleware

Ingo Augustin, Federico Carminati+25 more|arXiv (Cornell University)|Jun 5, 2003

Distributed and Parallel Computing Systems参考文献 7被引用数 5

ひとこと要約

この論文は、高エネルギー物理学（HEP）アプリケーションを対象に、EDG（Enabling Grids for E-Science in Europe）のテストベッドおよびミドルウェアを評価し、ジョブ送信、データ管理、ストレージ処理、監視、リモートデバッグの各分野に焦点を当てている。大型ハダロン衝突型加速器（LHC）実験のソフトウェアがグリッド環境に正常に統合されたことが報告され、スケーリングおよびポータビリティの課題が特定され、2003年中頃のLCGプロトタイプ導入に向けた主要なソフトウェア開発の方向性が示されている。

ABSTRACT

Workpackage 8 of the European Datagrid project was formed in January 2001 with representatives from the four LHC experiments, and with experiment independent people from five of the six main EDG partners. In September 2002 WP8 was strengthened by the addition of effort from BaBar and D0. The original mandate of WP8 was, following the definition of short- and long-term requirements, to port experiment software to the EDG middleware and testbed environment. A major additional activity has been testing the basic functionality and performance of this environment. This paper reviews experiences and evaluations in the areas of job submission, data management, mass storage handling, information systems and monitoring. It also comments on the problems of remote debugging, the portability of code, and scaling problems with increasing numbers of jobs, sites and nodes. Reference is made to the pioneeering work of Atlas and CMS in integrating the use of the EDG Testbed into their data challenges. A forward look is made to essential software developments within EDG and to the necessary cooperation between EDG and LCG for the LCG prototype due in mid 2003.

研究の動機と目的

• LHC実験に跨るHEPアプリケーションの展開を目的としたEDGテストベッドおよびミドルウェアの評価。
• ジョブ送信、データ管理、大量ストレージ処理を含むグリッドコンポONENTの機能性およびパフォーマンスの評価。
• リモートデバッグ、コードポータビリティ、ジョブおよびサイト負荷の増加に伴うスケーリングにおける課題の特定。
• 2003年中頃の展開を前に、EDGをLHCコンピューティンググリッド（LCG）プロトタイプ開発に統合する支援。

提案手法

• HEPソフトウェアのEDGミドルウェアおよびテストベッド環境への移植およびテストを実施。
• 複数のグリッドサイトおよびノードを横断するジョブ送信ワークフローの評価。
• 実際の実験ワークロード下でのデータ管理および大量ストレージ処理のパフォーマンス測定。
• 情報システムおよび監視ツールを用いたシステム動作および診断の監視。
• ATLAS、CMS、BaBar、D0のLHC実験から、使いやすさおよび統合の課題に関するフィードバック収集。
• テストベッドにおけるジョブ数、サイト数、ノード数の増加に伴うスケーリング挙動の分析。

実験結果

リサーチクエスチョン

• RQ1 HEPアプリケーションは、EDGミドルウェアおよびテストベッド上でどの程度効果的に展開および実行できるか？
• RQ2 分散サイト間でのジョブ送信、データ管理、ストレージ処理におけるパフォーマンスボトルネックは何か？
• RQ3 グリッド上でHEPワークロードを実行する際、リモートデバッグおよびコードポータビリティにおいて生じる課題は何か？
• RQ4 ジョブ数、サイト数、ノード数の増加に伴い、システムはどのようにスケーリングするか？
• RQ5 LCGプロトタイプおよび将来のLHCデータ課題に対応するためのソフトウェア強化は何か？

主な発見

• EDGミドルウェアは、HEPアプリケーションの実行を正常にサポートしており、ATLASおよびCMSがデータチャレンジに早期に統合された。
• ジョブ送信およびデータ管理ワークフローは機能的に安定していたが、異種サイト間でパフォーマンスにばらつきが見られた。
• リモートデバッグは、グリッドノード間で可視性が限定的かつログの整合性に欠けるため、困難であった。
• 特にレガシーソフトウェアスタックを含む、異なるコンピューティング環境間でのHEPコードのポータビリティは依然課題であった。
• ジョブおよびサイト数の増加に伴い、監視およびリソース割り当ての調整におけるスケーリング問題が顕在化した。
• 本論文は、まもなく登場するLCGプロトタイプにおける相互運用性およびパフォーマンスを確保するためのEDG内での重要なソフトウェア開発ニーズを特定した。