[論文レビュー] Dynamic scheduling of virtual machines running hpc workloads in scientific grids

Omer Khalid, Ivo Maljević+4 more|arXiv (Cornell University)|Sep 24, 2010

Distributed and Parallel Computing Systems参考文献 11被引用数 228

ひとこと要約

本論文は、仮想化によるリアルタイムのパフォーマンスオーバーヘッドを監視することで、ワークロードの種別とデッドラインに応じて動的に変化するVMスケジューリングフレームワークを提案する。CPU、メモリ、I/O集約的ワークロードに分類し、それに応じてスケジューリング意思決定を調整することで、仮想化オーバーヘッドの変動にもかかわらず、デッドラインを満たすジョブ数を増加させることができる。

ABSTRACT

The primary motivation for uptake of virtualization has been resource isolation, capacity management and resource customization allowing resource providers to consolidate their resources in virtual machines. Various approaches have been taken to integrate virtualization in to scientific Grids especially in the arena of High Performance Computing (HPC) to run grid jobs in virtual machines, thus enabling better provisioning of the underlying resources and customization of the execution environment on runtime. Despite the gains, virtualization layer also incur a performance penalty and its not very well understood that how such an overhead will impact the performance of systems where jobs are scheduled with tight deadlines. Since this overhead varies the types of workload whether they are memory intensive, CPU intensive or network I/O bound, and could lead to unpredictable deadline estimation for the running jobs in the system. In our study, we have attempted to tackle this problem by developing an intelligent scheduling technique for virtual machines which monitors the workload types and deadlines, and calculate the system over head in real time to maximize number of jobs finishing within their agreed deadlines.

研究の動機と目的

• 科学的グリッドで実行されるHPCワークロードにおける仮想化によって引き起こされるパフォーマンスオーバーヘッドを解決すること。
• 仮想化されたHPC環境における時間的に重要なジョブのデッドライン遵守を向上させること。
• ワークロード固有の仮想化オーバーヘッドを考慮する動的スケジューリング技術を開発すること。
• ワークロードの種別とデッドライン制約に基づいて、スケジューリング意思決定をリアルタイムで適応させること。
• 変動する仮想化オーバーヘッド下でも、合意されたデッドライン内に完了するジョブの数を最大化すること。

提案手法

• システムは実行時プロファイリングに基づいて、到着したワークロードをCPU集約的、メモリ集約的、またはI/O集約的タイプに分類する。
• 各ワークロード種別に対して仮想化レイヤーが引き起こすリアルタイムのパフォーマンスオーバーヘッドを監視する。
• 動的スケジューリングアルゴリズムは、ワークロード分類とオーバーヘッド推定値を用いてVMの優先順位付けと割り当てを実行する。
• スケジューラは予測されたオーバーヘッドとデッドラインの緊急性に基づいて、リソースの割り当てと配置意思決定を調整する。
• 実行時フィードバックを統合してオーバーヘッド推定値を精緻化し、スケジューリングの正確性を向上させる。
• フレームワークは、実際のHPCワークロードトレースを用いたシミュレーテッドグリッド環境で評価されている。

実験結果

リサーチクエスチョン

• RQ1 HPCワークロードの種別（CPU、メモリ、I/O集約的）ごとに仮想化オーバーヘッドはどのように変動するか？
• RQ2 動的スケジューリングは、変動する仮想化オーバーヘッドによって引き起こされるデッドライン逸脱をどの程度軽減できるか？
• RQ3 ワークロード分類は、仮想化された科学的グリッドにおけるスケジューリングの正確性とデッドライン遵守を向上させることができるか？
• RQ4 リアルタイムのオーバーヘッド監視は、時間的に敏感なHPCジョブのスケジューリング意思決定をどのように改善するか？
• RQ5 動的スケジューリングは、全体としてデッドライン内に完了するジョブ数にどのような影響を与えるか？

主な発見

• 提案された動的スケジューリング手法は、静的または非適応的スケジューリングと比較して、デッドライン遵守の向上が顕著に見られる。
• CPU、メモリ、I/O集約的タイプに分類することで、仮想化オーバーヘッドのより正確な予測が可能になる。
• オーバーヘッドのリアルタイム監視により、スケジューラはリソース割り当て戦略を調整し、デッドライン逸脱を低減できる。
• 変動するワークロード条件下でも、合意されたデッドライン内に完了するジョブ数が明確に増加している。
• ワークロード固有のオーバーヘッドを考慮することで、より予測可能で信頼性の高いスケジューリング結果が得られることをフレームワークが示している。
• 結果から、ワークロード種別とオーバーヘッド推定に基づく動的適応が、仮想化されたHPC環境における全体的なシステム信頼性を向上させることを示している。