[論文レビュー] McRunjob: A High Energy Physics Workflow Planner for Grid Production Processing

G. Graham, Evans, Dave+1 more|ArXiv.org|May 30, 2003

Distributed and Parallel Computing Systems被引用数 22

ひとこと要約

McRunjob は、高エネルギー物理学のグリッド生産のためのメタデータ駆動型ワークフロープランナであり、多様な計算環境においてスケーラブルでポータブルなジョブ生成を可能にする。2002年以降、DZero および CMS 実験で実際に運用されてきた。Declarative メタデータ言語を用い、関数的依存関係、名前空間、オントロジー定義を備えており、複雑なマルチステップワークフロー、プロバンス追跡、動的ジョブ送信をモデル化する。

ABSTRACT

McRunjob is a powerful grid workflow manager used to manage the generation of large numbers of production processing jobs in High Energy Physics. In use at both the DZero and CMS experiments, McRunjob has been used to manage large Monte Carlo production processing since 1999 and is being extended to uses in regular production processing for analysis and reconstruction. Described at CHEP 2001, McRunjob converts core metadata into jobs submittable in a variety of environments. The powerful core metadata description language includes methods for converting the metadata into persistent forms, job descriptions, multi-step workflows, and data provenance information. The language features allow for structure in the metadata by including full expressions, namespaces, functional dependencies, site specific parameters in a grid environment, and ontological definitions. It also has simple control structures for parallelization of large jobs. McRunjob features a modular design which allows for easy expansion to new job description languages or new application level tasks.

研究の動機と目的

• 高エネルギー物理学における大規模なモンテカルロ生産のための汎用的でスケーラブルなジョブ管理の欠如に対処する。
• 異種の計算環境にまたがる複雑なマルチステップワークフローを管理するためのポータブルで拡張可能なフレームワークを提供する。
• 宣言的メタデータ記述言語を通じて、一貫性のあるジョブ生成とプロバンス追跡を実現する。
• データベース、リソースブローカー、グリッドミドルウェアなどの外部システムとの統合を支援する。
• 将来のジョブ記述言語や実行モデルとの統合を可能にするモジュラー設計による拡張性を促進する。

提案手法

• アプリケーション、環境、データのメタデータをカプセル化するための Configurator コンponent を使用し、汎用的なメタデータコンテナとして機能する。
• 異なる実行環境にわたるジョブスクリプト生成を標準化するための Script Generator（特殊化された Configurator）を採用する。
• Linker を中央の通信および制御ハブとして活用し、Configurator のインスタンス化、メタデータルーティング、フレームワーク実行を管理する。
• 関数的依存関係（例：B:InputFile = A:OutputFile）を用いて、ワークフロー論理を宣言的に表現する。
• 実行時におけるスキーマ定義とマクロベースの構成を可能にし、動的ワークフロー構成と環境管理を実現する。
• ソース可能な定義とコマンドシーケンスを備えたマクロ言語を用い、環境定義とワークフローロジックを分離することで、初期のオントロジー定義を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高エネルギー物理学における大規模でマルチステップのモンテカルロ生産を処理できる汎用的かつ拡張可能なワークフローマネジメントシステムをどのように設計できるか？
• RQ2 単一のメタデータ抽象化を通じて、ローカルファームやグリッドなど異種の計算環境において一貫性のあるジョブ生成を実現するメカニズムは何か？
• RQ3 メタデータのみを用いて、プロバンスおよびワークフローステップ間の関数的依存関係をどのようにモデル化・強制できるか？
• RQ4 宣言的メタデータ言語が、外部データベースやリソースブローカーとの統合を可能にしつつ、複雑で動的なワークフローをどの程度サポートできるか？
• RQ5 ランタイム監視、インタラクティブ分析、Web Services Flow Language などの新規標準との統合を可能にするために、フレームワークをどのように拡張できるか？

主な発見

• McRunjob は 1999 年より DZero 実験および CMS 実験で大規模なモンテカルロ生産に成功裏に使用されており、CMS での本格的運用は 2002 年から継続されている。
• フレームワークは、個々の Configurators からのジョブスクリプトを集約することで、複数ステップのワークフローを表す合成シェルスクリプトの生成を可能にする。
• メタデータ要素間の関数的依存関係（例：入力-出力リンク）は一様に扱われており、特別なケース処理を必要とせずに複雑なワークフローのモデル化が可能である。
• Configurators、ScriptGen、Linker からなるモジュラーアーキテクチャにより、新しいジョブ記述言語や実行環境へのシームレスな拡張が可能である。
• 同義語定義とバージョニングを用いた初期のオントロジー管理をサポートしており、環境に適応したワークフロー構成が可能である。
• ジョブの監視を可能にするランタイム拡張の検討が進行中であり、ジョブメタデータと実行状態は XML データベースに格納され、プロバンス追跡に利用されている。