[論文レビュー] The NorduGrid architecture and tools

P. Eerola, T. Ekelöf+8 more|ArXiv.org|May 31, 2003

Distributed and Parallel Computing Systems参考文献 3被引用数 19

ひとこと要約

NorduGridプロジェクトは、LHCのためのスケーラブルで生産用途に耐えるコンピューティングを実現するため、Globus Toolkitを基盤として、軽量で分散型のグリッドアーキテクチャを設計した。ジョブおよびデータ管理を可能にする独自のコンponents（ユーザインタフェース、グリッドマネージャ、拡張RSL（xRSL））を導入し、単一障害点を回避しながら、効率的なバッチ処理と動的リソース割り当てを実現した。

ABSTRACT

The NorduGrid project designed a Grid architecture with the primary goal to meet the requirements of production tasks of the LHC experiments. While it is meant to be a rather generic Grid system, it puts emphasis on batch processing suitable for problems encountered in High Energy Physics. The NorduGrid architecture implementation uses the \globus{} as the foundation for various components, developed by the project. While introducing new services, the NorduGrid does not modify the Globus tools, such that the two can eventually co-exist. The NorduGrid topology is decentralized, avoiding a single point of failure. The NorduGrid architecture is thus a light-weight, non-invasive and dynamic one, while robust and scalable, capable of meeting most challenging tasks of High Energy Physics.

研究の動機と目的

• 1年間に最大1 PBの生データを生成する大型ハドロン衝突型加速器（LHC）が引き起こすコンピューティングおよびデータ管理の課題に対処すること。
• Globus Toolkit や EDG といった既存ミドルウェアの制限、たとえばジョブブローカーの欠如、不十分なデータステージング、中央集権的ボトルネックを克服すること。
• リソース所有者が制御権を保持しつつ、シームレスなジョブおよびデータ管理を可能にする、生産用途に耐える非侵襲的グリッドインfrastrucureを設計すること。
• 最小限のシステム要件で実現可能な軽量でサイト管理者フレンドリーな設定により、リアルタイムの監視および構成を可能にすること。

提案手法

• Globus Toolkit を基盤として使用し、コアコンponentsを変更しないことで相互運用性を保証しつつ、分散型グリッドアーキテクチャを構築した。
• ジョブ送信、リソース発見、ステータス監視のためのクライアントサイドサービスとしてのユーザインタフェース（UI）を開発し、中央集権的ブローカーの必要性を排除した。
• ジョブ実行、動的ファイルステージング（事前および事後ステージング）、実行ノードとストレージエレメント間の調整を処理するグリッドマネージャ（GM）を実装した。
• リソース仕様言語（RSL）を拡張して、入力ファイルおよび出力ファイルなどの新しい属性を追加したxRSLを設計し、複雑なデータ移動ワークフローの記述を可能にした。
• MDSベースの情報システムを用いてリアルタイムのシステムステータスを公開および照会し、Webベースのグリッドモニタを通じて動的監視を可能にした。
• 2つの構成ファイル（globus.conf および nordugrid.conf）を用いた簡素化されたデプロイメントモデルにより、熟練を要しないで多様なサイトに迅速にセットアップできるようにした。

実験結果

リサーチクエスチョン

• RQ1 大規模なバッチ処理およびLHC実験のデータ管理ニーズを満たすために、スケーラブルで分散型のグリッドアーキテクチャをどのように設計できるか？
• RQ2 ジョブブローカーと動的データステージングを効率的に行うために、単一障害点を導入せずに実現可能なアーキテクチャ的および実装的選択肢は何か？
• RQ3 Globus Toolkit といった既存ミドルウェアを、高エネルギー物理学分野の生産用途ワークロードをサポートするためにどの程度拡張可能か？
• RQ4 最小限の管理負荷とシステム依存関係で、異種のサイトに軽量で非侵襲的なグリッドシステムをどのように展開できるか？

主な発見

• NorduGridアーキテクチャは、中央集権的ボトルネックを回避し、分散型のジョブおよびデータ管理を可能にすることで、大規模で生産用途に耐えるワークロードを効果的にサポートした。
• 拡張されたxRSL言語により、分散ストレージエレメントをまたがる大容量の入力および出力ファイルの事前および事後ステージングを含む、複雑なジョブワークフローの正確な記述が可能になった。
• MDSベースの情報システムを照会するWebベースのグリッドモニタは、30秒のデフォルトリフレッシュ間隔でリアルタイムかつインタラクティブなシステム監視を提供した。
• globus.conf および nordugrid.conf を用いた構成モデルにより、カナダや日本を含む地理的に分散した場所に、NorduGridサイトを数時間で迅速に展開できた。
• Globusコンponentsを内蔵したtarボール形式で配布されるスタンドアロンのクライアントパッケージにより、フルシステムインストールなしでグリッドおよび他のグリッドとやり取りできるようになった。
• アーキテクチャは、ATLASデータチャレンジのサポートおよびLHCコンピューティングワークフローのテストベッドとしての役割を果たし、堅牢性とスケーラビリティを実証した。