[論文レビュー] Management of Grid Jobs and Information within SAMGrid

A. Baranovski, Gabriele Garzoglio+12 more|arXiv (Cornell University)|Jul 3, 2003

Distributed and Parallel Computing Systems参考文献 14被引用数 6

ひとこと要約

本論文では、フェルミラブの高エネルギー物理学実験D0およびCDFに特化したVO用グリッドシステムであるSAMGridを提案する。これは、ジョブおよび情報管理を統合したグリッドシステムであり、Condor-Gに自動マッチング、拡張されたClassAdを用いた動的リソース評価、ネットワーク化されたジョブ送信機能を追加することで強化されている。また、異種グリッドサイト間での分散監視および構成管理を可能にする統一されたXMLベースの構成フレームワークを採用している。

ABSTRACT

We describe some of the key aspects of the SAMGrid system, used by the D0 and CDF experiments at Fermilab. Having sustained success of the data handling part of SAMGrid, we have developed new services for job and information services. Our job management is rooted in \CondorG and uses enhancements that are general applicability for HEP grids. Our information system is based on a uniform framework for configuration management based on XML data representation and processing.

研究の動機と目的

• D0およびCDFのような大規模かつデータ集約的なHEP実験における、スケーラブルで自動化されたジョブスケジューリングおよび情報管理のニーズに対応すること。
• 標準のCondor-Gに内在する制限を克服し、静的ClassAd記述に依存しない動的でポリシーに基づいたリソースマッチングを可能にすること。
• 1つのサイトで複数のグリッドサービススイート間の相互運用性をサポートするため、XMLを用いた統一的かつ拡張可能な構成および監視フレームワークを設計すること。
• グリッドレベルのサービスとローカルバッチシステム（CAF、MCRunJob）を統合し、既存のファブリックレベルのワークフローに干渉しないようにすること。
• 異種コンピューティング環境において、複数サイト・複数ユーザー向けのセキュアで分散型のジョブ送信を可能にすること。

提案手法

• ジョブ実行に最適なグリッドサイトを自動的に選択するマッチングサービスをCondor-Gに追加し、手動でのサイト指定の必要性を排除した。
• マッチング時における外部から評価可能な関数をサポートするようにClassAd言語を拡張し、ローカルストレージの内容やユーザーリストといった非静的データに基づく実行時意思決定を可能にした。
• ジョブ送信クライアントを中央キューイングシステムから分離し、セキュアなネットワーク通信を可能とし、マルチティアのジョブ送信アーキテクチャをサポートした。
• サイトおよびリソース情報をツリー構造で表現する階層的でXMLベースの構成フレームワークを設計し、複数サイト間での一貫性のあるデータモデリングを可能にした。
• XMLベースの構成データをCondor ClassAdフレームワークに投影し、リソース記述に使用するとともに、監視およびサービス発見にGlobus MDSを活用した。
• ローカルバッチシステム（CAF、MCRunJob）と連携できるGRAM準拠のジョブマネージャーを導入し、既存の実験固有のコンピューティングファブリックとのシームレスな統合を実現した。

実験結果

リサーチクエスチョン

• RQ1 データ集約的なHEPワークロードのためのグリッドシステムは、既存のローカルバッチシステムと互換性を保ちつつ、どのように自動化されたジョブスケジューリングを実現できるか？
• RQ2 静的ClassAd属性を超えて動的でポリシーに基づいたリソース選択を可能にするために、Condor-Gに必要な拡張は何か？
• RQ3 1つのサイトで複数のグリッドサービススイート間の相互運用性をサポートするため、統一的かつ拡張可能な構成フレームワークをどのように設計できるか？
• RQ4 XMLベースのデータモデリングは、分散的かつ異種のグリッド環境において、監視、構成、リソース記述の一貫性をどのように実現するか？
• RQ5 グリッドレベルの監視および情報サービスは、ファブリックレベルの監視システムと重複しないように、どのようにして直交的（orthogonal）に設計できるか？

主な発見

• 強化されたCondor-Gミドルウェアは、ClassAdにおける動的関数を用いたポリシー駆動型ジョブマッチングを成功裏に実現し、データ集約的ワークロードにおけるスケジューリングの柔軟性が向上した。
• ネットワーク化されセキュアなジョブ送信クライアントの導入により、スケーラブルでマルチティアのアーキテクチャが実現され、複数サイト間での分散的・マルチユーザーのジョブ送信が可能になった。
• XMLベースの構成フレームワークにより、サイトおよびリソース情報の一貫性があり階層的な表現が可能となり、複数のグリッドサービススイート間の相互運用性が促進された。
• GRAM準拠のジョブマネージャーの導入により、グリッドレベルのスケジューリングとローカルバッチシステム（CAF、MCRunJob）との間にシームレスな統合が達成された。
• 2002年秋に、11サイト（D0が5、CDFが6）を接続した完全な統合プロトタイプのSAMGridが提供され、ジョブ送信、ブローカージング、監視サービスの正常稼働が実証された。
• 本プロジェクトは、標準ミドルウェア（Condor-G、Globus）を基盤としつつ、HEPワークロードに特化した拡張を施すことで、VO特化型グリッドシステムを構築可能であることを示した。