[論文レビュー] Scheduling Bag-of-Tasks in Clouds using Spot and Burstable Virtual Machines

Luan Teylo, Luciana Arantes+2 more|arXiv (Cornell University)|Nov 10, 2020

Cloud Computing and Resource Management参考文献 16被引用数 7

ひとこと要約

本稿では、クラウドにおけるバッチ・オブ・タスク（BoT）アプリケーションのコストと実行時間を最小化するために、スポットVMとバースト可能VMを組み合わせた動的スケジューラー「Burst-HADS」を提案する。ILSに基づくタスクスケジューリングと、スポットVMのスリープからの復帰時に動的ワークステalingまたはタスク移行を実行することで、オンデマンドVMのみのスケジューリングと比較して、平均でコストを30.96%削減し、マクスパン（所要時間）を25.87%短縮した。また、高いスリープ率下でも厳密なデッドラインを満たした。

ABSTRACT

Leading Cloud providers offer several types of Virtual Machines (VMs) in diverse contract models, with different guarantees in terms of availability and reliability. Among them, the most popular contract models are the on-demand and the spot models. In the former, on-demand VMs are allocated for a fixed cost per time unit, and their availability is ensured during the whole execution. On the other hand, in the spot market, VMs are offered with a huge discount when compared to the on-demand VMs, but their availability fluctuates according to the cloud's current demand that can terminate or hibernate a spot VM at any time. Furthermore, in order to cope with workload variations, cloud providers have also introduced the concept of burstable VMs which are able to burst up their respective baseline CPU performance during a limited period of time with an up to 20% discount when compared to an equivalent non-burstable on-demand VMs. In the current work, we present the Burst Hibernation-Aware Dynamic Scheduler (Burst-HADS), a framework that schedules and executes tasks of Bag-of-Tasks applications with deadline constraints by exploiting spot and on-demand burstable VMs, aiming at minimizing both the monetary cost and the execution time. Based on ILS metaheuristics, Burst-HADS defines an initial scheduling map of tasks to VMs which can then be dynamically altered by migrating tasks of a hibernated spot VM or by performing work-stealing when VMs become idle. Performance results on Amazon EC2 cloud with different applications show that, when compared to a solution that uses only regular on-demand instances, Burst-HADS reduces the monetary cost of the execution and meet the application deadline even in scenarios with high spot hibernation rates. It also reduces the total execution time when compared to a solution that uses only spot and non-burstable on-demand instances.

研究の動機と目的

• クラウドベースのバッチ・オブ・タスクワークロードにおいて、コスト最小化とデッドライン遵守のトレードオフを解消すること。
• 低コストのスポットVMとコスト効率の良いバースト可能VMを統合することで、高価なオンデマンドVMへの依存度を低減すること。
• スポットVMのスリープイベントに適応する動的スケジューラーを設計し、アプリケーションのデッドラインを守ること。
• 知的なタスク移行とワークロードバランス調整を通じて、実行時間（マクスパン）と金銭的コストの両方を最小化すること。
• AWS EC2の実環境シナリオにおいて、スリープおよび復帰率を変化させた状況でフレームワークを評価すること。

提案手法

• Burst-HADSは、バッチ・オブ・タスクアプリケーションのタスクからVMへのマッピングを初期化するために、反復局所探索（ILS）メタヒューリスティックを用いる。
• スケジューラーは、スリープ状態にあるスポットVMからのタスクを、利用可能なオンデマンドVMまたはバースト可能VMに動的に移行させ、実行遅延を防ぐ。
• アイドルタスクをアクティブなVM間で再配分するワークステーリング機構を採用することで、負荷分散を向上させ、マクスパンを短縮する。
• バースト可能VMは、積算されたCPUクレジットを活用して、ベースライン性能を超えるパフォーマンスを発揮するバーストモードで使用される。
• 移行の必要があるまで遅延を先送りすることで、オーバーヘッドを最小限に抑え、コスト効率を最大化する。
• スポットVMのスリープおよび復帰パターンを監視し、新たなVM起動を最小限に抑えるインformedなスケジューリング意思決定を行う。

実験結果

リサーチクエスチョン

• RQ1 スポットVMとバースト可能VMを組み合わせたハイブリッドスケジューラは、バッチ・オブ・タスクアプリケーションにおいて、厳密なデッドライン制約を満たしつつ、コストを削減できるか？
• RQ2 動的タスク移行とワークステーリングは、スポットVMのスリープが実行時間およびコストに与える影響をどのように軽減するか？
• RQ3 高いスリープ率の状況下で、スポットVMとバースト可能VMを併用する際の、コスト削減とマクスパン増加のトレードオフはいかなるものか？
• RQ4 Burst-HADSの性能は、オンデマンドVMのみを用いたベースラインスケジューラと比較して、コストおよびマクスパンの観点でどの程度優れているか？
• RQ5 バースト可能VMを活用することで、スポットVMとオンデマンドVMのみを用いたスケジューラと比較して、マクスパン短縮効果はどの程度向上するか？

主な発見

• Burst-HADSは、オンデマンドVMのみのスケジューリングと比較して、平均で41.80%のコスト削減を達成し、$sc_2$シナリオでは最低でも30.96%の削減を実現した。
• フレームワークは、すべてのシナリオにおいて、ILSオンデマンドベースラインと比較して、平均で25.87%のマクスパン短縮を達成した。小規模ジョブでは最大40.10%の短縮が達成された。
• 移行オーバーヘッドが存在するにもかかわらず、すべての実行において平均で1.92%のマクスパン増加にとどまった。
• 高スリープ率のシナリオ（$sc_2$、$k_h=5$、$k_r=0$）において、Burst-HADSはHADSフレームワークを上回り、コスト削減率30.96%（HADS：26.66%）を達成した。
• J60のような小規模ジョブは、アイドル時間が長く、ワークステーリングの頻度も高いため、バースト可能VMの恩恵をより多く受けており、最大で40.10%のマクスパン短縮が達成された。
• 移行を遅延させるとともにバースト可能VMを活用することで、高いスリープ率下でもすべてのシナリオでデッドライン遵守を維持した。