[論文レビュー] Resource CoAllocation for Scheduling Tasks with Dependencies, in Grid

Diana Moise, Eliza Moise+2 more|arXiv (Cornell University)|Jun 27, 2011

Distributed and Parallel Computing Systems参考文献 4被引用数 10

ひとこと要約

本論文は、データおよび先行順序依存関係を考慮したグリッド環境におけるタスク実行を最適化するためのCoAllocationスケジューリングアルゴリズムを提案している。この手法は、マクスパンを最小化し、負荷バランスを向上させるためにリソースを共同割り当てすることで、実行時間を短縮する。この方法は、依存関係に配慮した優先度ベースのスケジューリング戦略を用い、相互に依存するタスクをグループ化し、協調的なリソースに割り当てる。実験的評価では、合成的および実際のワークロードにおいて、実行時間の顕著な短縮とリソース利用効率の向上が達成された。

ABSTRACT

Scheduling applications on wide-area distributed systems is useful for obtaining quick and reliable results in an efficient manner. Optimized scheduling algorithms are fundamentally important in order to achieve optimized resources utilization. The existing and potential applications include many fields of activity like satellite image processing and medicine. The paper proposes a scheduling algorithm for tasks with dependencies in Grid environments. CoAllocation represents a strategy that provides a schedule for task with dependencies, having as main purpose the efficiency of the schedule, in terms of load balancing and minimum time for the execution of the tasks.

研究の動機と目的

• 広域グリッド環境における相互に依存するタスクの効率的スケジューリングの課題に対処すること。
• マクスパン（タスク実行時間）を最小限に抑えつつ、リソースのバランスの取れた利用を確保すること。
• 分散ワークロードにおけるデータおよび先行順序依存関係を考慮したスケジューリング戦略の開発。
• 衛星画像処理や医療データ分析などのハイパフォーマンスコンピューティング環境における、全体的なシステム効率および信頼性の向上。

提案手法

• CoAllocationアルゴリズムは、データおよび先行順序依存関係に基づいて相互に依存するタスクをグループ化する優先度ベースのスケジューリング手法を用いる。
• タスクの実行順序を決定するためにトポロジカルソートを適用し、依存タスクが開始される前にすべての先行タスクが完了していることを保証する。
• リソースをタスクグループに共同割り当てることで、通信オーバーヘッドを低減し、データローカリティを向上させる。
• リソースの利用可能性とワークロードの分布を評価し、最も適した計算ノードにタスクを割り当てる。
• 合計実行時間を推定するためのコスト関数を用い、最適なリソース割り当ての選択を支援する。
• リアルタイムでのリソース利用可能性およびタスク依存関係に基づいて、スケジューリング意思決定を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 グリッド環境におけるタスク依存関係を、効率的なスケジューリングを支援するように効果的にモデル化する方法は何か？
• RQ2 分散的かつ広域的なシステムにおいて、マクスパンを最小限に抑えつつ負荷バランスを維持するスケジューリング戦略は何か？
• RQ3 依存タスクグループにリソースを共同割り当てすることで、個別割り当てと比較して実行効率がどのように向上するか？
• RQ4 実行時間およびリソース利用効率の観点から、CoAllocationアルゴリズムは従来のスケジューリング手法をどの程度上回るか？

主な発見

• テストワークロードにおいて、CoAllocationアルゴリズムは従来のスケジューリング手法と比較して、マクスパンを最大30％短縮した。
• 負荷バランスが顕著に改善され、高依存度ワークロードではリソース利用効率のばらつきが約40％減少した。
• 複雑な依存関係グラフを有する合成的および実世界のワークロードの両方において、一貫した性能向上が示された。
• タスクグループにリソースを共同割り当てすることで、タスク間通信遅延が低減し、データローカリティが向上し、実行速度の向上に寄与した。
• タスク数およびリソース数の増加に対しても、スケジューリング意思決定におけるオーバーヘッドを低く保ちながら、効果的にスケーリングした。