[論文レビュー] Scheduling in Data Intensive and Network Aware (DIANA) Grid Environments

Richard McClatchey, Ashiq Anjum+4 more|ArXiv.org|Jul 5, 2007

Distributed and Parallel Computing Systems参考文献 29被引用数 4

ひとこと要約

本稿では、データローカリティ、処理能力、リアルタイムのネットワーク特性を統合的に考慮することでジョブスケジューリングを最適化する、Grid環境向けのDIANA（Data Intensive and Network Aware）メタスケジューラを提案する。ネットワーク遅延、データサイズ、利用可能なサイクルを組み込んだ重み付きコスト関数を計算することで、実験環境での評価においてジョブキュー時間および実行時間を顕著に短縮した。これは、ネットワークに配慮したスケジューリングが、従来のデータのみまたは計算のみに焦点を当てたアプローチよりも性能を向上させることを示している。

ABSTRACT

In Grids scheduling decisions are often made on the basis of jobs being either data or computation intensive: in data intensive situations jobs may be pushed to the data and in computation intensive situations data may be pulled to the jobs. This kind of scheduling, in which there is no consideration of network characteristics, can lead to performance degradation in a Grid environment and may result in large processing queues and job execution delays due to site overloads. In this paper we describe a Data Intensive and Network Aware (DIANA) meta-scheduling approach, which takes into account data, processing power and network characteristics when making scheduling decisions across multiple sites. Through a practical implementation on a Grid testbed, we demonstrate that queue and execution times of data-intensive jobs can be significantly improved when we introduce our proposed DIANA scheduler. The basic scheduling decisions are dictated by a weighting factor for each potential target location which is a calculated function of network characteristics, processing cycles and data location and size. The job scheduler provides a global ranking of the computing resources and then selects an optimal one on the basis of this overall access and execution cost. The DIANA approach considers the Grid as a combination of active network elements and takes network characteristics as a first class criterion in the scheduling decision matrix along with computation and data. The scheduler can then make informed decisions by taking into account the changing state of the network, locality and size of the data and the pool of available processing cycles.

研究の動機と目的

• スケジューリング段階でネットワーク特性を無視することで生じる性能劣化を是正すること。
• ネットワーク状態をスケジューリング意思決定に組み込むことで、データ集約ワークロードにおけるジョブ実行効率を向上させること。
• 分散サイト間でのイン telligentリソース選択を通じて、ジョブキュー長および実行遅延を短縮すること。
• ネットワークパフォーマンスをデータおよび計算と同等の基準として扱うメタスケジューリングフレームワークを構築すること。
• 実世界のGridテストベッド環境において、ネットワークに配慮したスケジューリングの有効性を検証すること。

提案手法

• DIANAスケジューラは、各候補サイトに対して、ネットワーク遅延、データサイズ、利用可能な処理サイクルを組み合わせたグローバルコスト関数を計算する。
• 各サイトの逆数に基づく重み係数が、ネットワーク性能、データ転送コスト、計算リソースの可用性に基づいて算出される。
• コスト関数から導出される総アクセスおよび実行コストに基づき、利用可能な計算リソースを順位付けする。
• 最低の総コストに基づいて最適なサイトを選択することで、エンドツーエンド遅延を最小限に抑える。
• アプローチは、変化するネットワーク状態、データ配置、リソース可用性にリアルタイムで適応する。
• 実装は、本稼働ワークロード条件下での性能評価を目的として、マルチサイトのGridテストベッドにデプロイされた。

実験結果

リサーチクエスチョン

• RQ1 データ集約ワークロードにおけるジョブキュー時間および実行時間に、ネットワーク特性をスケジューリングに組み込むことでどのような影響が生じるか？
• RQ2 データローカリティ、処理能力、ネットワーク状態を考慮するメタスケジューラが、全体のジョブ完了時間をどの程度短縮できるか？
• RQ3 動的ネットワーク状態の認識が、静的または計算のみに焦点を当てたスケジューリングと比較して、スケジューリング効率に与える影響は何か？
• RQ4 ネットワーク、データ、計算メトリクスを統合した統一コスト関数は、従来のスケジューリング戦略を上回る性能を発揮できるか？
• RQ5 DIANAスケジューラは、変動するワークロードおよびネットワーク条件下でもスケーラビリティと応答性を維持できるか？

主な発見

• DIANAスケジューラは、実験環境において従来のスケジューリング手法と比較して、ジョブキュー長を顕著に短縮した。
• 最適化されたデータ転送経路とより良いリソース選択のおかげで、ジョブ実行時間が改善された。
• スケジューリング意思決定マトリクスにネットワーク特性を統合することで、データ集約ワークロードにおける測定可能なパフォーマンス向上が達成された。
• 重み付きコスト関数は、ネットワーク、データ、計算要因を効果的にバランスさせ、全体のアクセスおよび実行コストを低減した。
• スケジューラは動的ネットワーク状態に適応可能であり、低遅延と高いスループットを維持した。
• 実装の実践的検証から、実際のGrid環境においてネットワークに配慮したスケジューリングが実現可能で効果的であることが確認された。