[論文レビュー] GRAPPA: Grid Access Portal for Physics Applications

D. Engh, R. W. Gardner+5 more|ArXiv.org|Jun 26, 2003

Distributed and Parallel Computing Systems参考文献 3被引用数 4

ひとこと要約

GRAPPAは、JythonとJava CoGツールキットを用いて、Webベースのインターフェースを通じて高エネルギー物理学の分散ワークロードに物理学者がアクセスおよび管理できるグリッドポータルフレームワークです。GRAPPAは、異種のグリッドリソースを横断してジョブの送信、モニタリング、データ管理を簡素化し、米国のテストベッドでATLASモンテカルロ生産が成功裏に実施されたこと、およびiVDGL-DataTAGプロジェクトを通じてヨーロッパのシステムと相互運用可能であることが実証されています。

ABSTRACT

Grappa is a Grid portal effort designed to provide physicists convenient access to Grid tools and services. The ATLAS analysis and control framework, Athena, was used as the target application. Grappa provides basic Grid functionality such as resource configuration, credential testing, job submission, job monitoring, results monitoring, and preliminary integration with the ATLAS replica catalog system, MAGDA. Grappa uses Jython to combine the ease of scripting with the power of java-based toolkits. This provides a powerful framework for accessing diverse Grid resources with uniform interfaces. The initial prototype system was based on the XCAT Science Portal developed at the Indiana University Extreme Computing Lab and was demonstrated by running Monte Carlo production on the U.S. ATLAS test-bed. The portal also communicated with a European resource broker on WorldGrid as part of the joint iVDGL-DataTAG interoperability project for the IST2002 and SC2002 demonstrations. The current prototype replaces the XCAT Science Portal with an xbooks jetspeed portlet for managing user scripts.

研究の動機と目的

• ATLASのような高エネルギー物理学（HEP）アプリケーション向けに、分散グリッドリソースへのアクセスを簡素化すること。
• 複数のサイトにまたがる異種のコンピューティングシステム、ストレージ、ソフトウェア構成の管理の複雑さを低減すること。
• 標準的なWebテクノロジおよびスクリプト言語を用いて、ユーザーフレンドリーでプラットフォームに依存しないポータルインターフェースを提供すること。
• 標準化されたジョブ記述とリソースブローカーを用いて、米国とヨーロッパのグリッドインfrastructures間の相互運用性を実現すること。
• ジョブモニタリング、結果のブラウジング、動的環境設定を支援する大規模なデータ生産ワークフローをサポートすること。

提案手法

• GRAPPAは、ジョブおよびデータ管理のためのモジュラーや再利用可能なコンポーネントを提供するポータルフレームワークとしてJetspeedポータレットを使用している。
• Jythonスクリプトを活用してJava CoGツールに統合し、GRAMジョブ送信やGSIFTPファイル転送などのグリッドサービスに最小限のJavaコードでアクセス可能にしている。
• xbooksポータレットエンジンは、ユーザー定義のスクリプトとフォームを解釈し、後で確認・再送信・モニタリングが可能なようにジョブ入力を保存する。
• ジョブスクリプトはポータルホストとコンピューティングホストのコンponentに分割され、Grappaがリモートサイトに必要なツールやライブラリ（例：ATLAS Athena）をインストールすることを保証している。
• ポータルは中央集約型のコンピューティングリソースデータベースを使用し、各サイトの相対的計算能力に基づいて動的にジョブを選択し、割り当てている。
• INFNのようなリソースブローカー向けにJDLスクリプトを生成することで、ヨーロッパのシステムとの相互運用性を実現し、外国のグリッドへのジョブ送信を可能にした。

実験結果

リサーチクエスチョン

• RQ1 物理学者が異種のグリッドリソースにまたがるジョブの送信およびモニタリングを、統合的かつ使いやすいインターフェースで行えるようにするにはどうすればよいか？
• RQ2 HEPアプリケーション向けに、安全でポータブルかつ拡張可能なポータル開発を可能にするアーキテクチャパターンは何か？
• RQ3 Jythonのようなスクリプトフレームワークを活用することで、グリッドコンピューティングにおける非専門家ユーザーのプログラミングのハードルをどのように低減できるか？
• RQ4 ポータルが米国およびヨーロッパの多様なグリッドインfrastructures間で、どの程度の相互運用性を達成できるか？
• RQ5 Webインターフェースを通じた大規模なジョブ送信において、どのようなパフォーマンスボトルネックが生じ、それらはどのように緩和できるか？

主な発見

• GRAPPAは、15のサイトと100のCPUをカバーする米国のグリッドテストベッド上で、ATLASモンテカルロ生産を成功裏に実施した。使用されたジョブマネージャーは、Condor、LSF、PBS、Forkなど多様であった。
• INFNのようなヨーロッパのリソースブローカー向けにJDLスクリプトを生成することで、iVDGL-DataTAGプロジェクトを通じて、ヨーロッパのグリッドへのジョブ送信が実現され、大陸を越えたジョブ送信の可能性が実証された。
• GRAMステータスレポートとGangliaやATLAS MAGDAレプリカカタログといったシステムモニタとの統合により、ジョブモニタリングが効果的に行われた。
• 出力ntupleに対してPAWを動的にインストール・実行することで、視覚的な結果ブラウジングが実現され、データ生成に伴い要約プロットがリアルタイムで更新された。
• Webインターフェースを通じた大規模な送信（25件以上のジョブ）では、10分を超える遅延が生じ、このようなワークロードには実用的でないことが判明した。
• パフォーマンスボトルネックは、Cactusツールキットを用いた非インタラクティブなコマンドラインインターフェースを導入することで解消され、長時間実行される生産ジョブのスケジューリングにはcronが使用された。