[論文レビュー] The EU DataGrid Workload Management System: towards the second major release

Giuseppe Avellino, S. Barale+27 more|ArXiv.org|Jun 13, 2003

Distributed and Parallel Computing Systems参考文献 2被引用数 23

ひとこと要約

本論文は、初回の大規模リリース後のユーザーからのフィードバックや、新たな機能統合の必要性に応じて進化したEU DataGrid Workload Management System (WMS) のアーキテクチャ的進化を提示する。改訂されたシステムは、異種のグリッドリソースにわたるジョブ送信、リソース選択、ワークロード配分を向上させ、第二段階の大規模リリース段階において、モジュラーでコンポonent指向の設計によりスケーラビリティと信頼性を向上させた。

ABSTRACT

In the first phase of the European DataGrid project, the 'workload management' package (WP1) implemented a working prototype, providing users with an environment allowing to define and submit jobs to the Grid, and able to find and use the ``best'' resources for these jobs. Application users have now been experiencing for about a year now with this first release of the workload management system. The experiences acquired, the feedback received by the user and the need to plug new components implementing new functionalities, triggered an update of the existing architecture. A description of this revised and complemented workload management system is given.

研究の動機と目的

• EU DataGrid Workload Management System の初回リリースにおける制限事項とユーザーからのフィードバックを是正し、使いやすさとパフォーマンスを向上させること。
• ユーザーのジョブ要件とシステム状態に基づいた動的かつ知能的なリソース選択を可能にすること。
• 進化するワークロードおよび高エネルギー物理学における異種コンピューティング環境に対応するための新規コンポonentの統合。
• 大規模なグリッド展開におけるプロダクションレベルのワークロードをサポートできるよう、システムのスケーラビリティと信頼性を強化すること。
• WMS の第二段階の大規模リリースに備えて、アーキテクチャの洗練とコンポonent統合の最適化を実施すること。

提案手法

• コア機能を分離し拡張性を向上させるために、モジュラーでコンポonent指向のソフトウェアアーキテクチャを採用する。
• ユーザーがグリッドに計算ジョブを定義して送信できるジョブ送信インターフェースを実装する。
• パフォーモンス、利用可能性、ユーザー指定の基準に基づいて利用可能なリソースを評価するリソース選択エンジンを統合する。
• ジョブディスpatch、監視、障害回復を調整するための集中型ワークロード管理サービスを使用する。
• 実際のユーザーワークロードからのフィードバックを活用してスケジューリングポリシーを最適化し、システムの応答性を向上させる。
• 実行時メトリクスとシステム負荷に基づいてジョブ配置戦略を動的に適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 第一回リリースからのフィードバックと現実世界のユーザーワークロードに対応できるよう、ワークロード管理システムをどのように改善できるか？
• RQ2 プロダクション環境におけるグリッド環境で新たな機能をサポートし、スケーラビリティを向上させるために、どのようなアーキテクチャ的変更が必要か？
• RQ3 異種のコンピューティングリソースにわたる効率的なジョブ実行を実現するため、リソース選択をどのように最適化できるか？
• RQ4 分散型グリッドワークロード管理システムにおける信頼性とフェイルセーフを確保するためのメカニズムは何か？
• RQ5 高エネルギー物理学における将来のワークロードと進化する要件をサポートできるように、システムをどのように拡張できるか？

主な発見

• 改訂されたWMSアーキテクチャは、第二段階の大規模リリースを成功裏に実現し、モularityとコンポonent統合の向上を達成した。
• 初回リリースからのユーザーのフィードバックにより、ジョブ送信、監視、リソース選択機能に顕著な向上が見られた。
• 分散リソースにわたる複雑で大規模なワークロードを処理するうえで、システムのスケーラビリティと信頼性が向上した。
• 新規コンポonentの統合により、システム状態とユーザー要件の変化に動的に適応できるようになった。
• 知能的なスケジューリングアルゴリズムにより、負荷バランスとリソース利用効率が向上した。
• モジュラー設計により、今後の拡張が容易であり、高エネルギー物理学および分散コンピューティング分野における進化するユースケースを効果的にサポートできるようになった。