[論文レビュー] Dynamic Deferral of Workload for Capacity Provisioning in Data Centers

Muhammad Abdullah Adnan, Ryo Sugihara+2 more|arXiv (Cornell University)|Sep 18, 2011

Cloud Computing and Resource Management参考文献 26被引用数 8

ひとこと要約

この論文は、SLAで指定された遅延制約を活用して、データセンタでのエネルギー効率の良い容量確保のための動的ワークロード延期を提案する。均一なデッドラインに対してはVFW(𝛿)、非均一なデッドラインに対してはGCPという2つのオンラインアルゴリズムを導入し、サーバーの起動とワークロードスケジューリングを最適化することで、エネルギー消費とスイッチングコストを削減する。シミュレーションでは最大40%のコスト削減、実際のHadoopクラスタ実験では12%のコスト削減を達成し、単純な容量確保戦略よりも優れている。

ABSTRACT

Recent increase in energy prices has led researchers to find better ways for capacity provisioning in data centers to reduce energy wastage due to the variation in workload. This paper explores the opportunity for cost saving utilizing the flexibility from the Service Level Agreements (SLAs) and proposes a novel approach for capacity provisioning under bounded latency requirements of the workload. We investigate how many servers to be kept active and how much workload to be delayed for energy saving while meeting every deadline. We present an offline LP formulation for capacity provisioning by dynamic deferral and give two online algorithms to determine the capacity of the data center and the assignment of workload to servers dynamically. We prove the feasibility of the online algorithms and show that their worst case performance are bounded by a constant factor with respect to the offline formulation. We validate our algorithms on a MapReduce workload by provisioning capacity on a Hadoop cluster and show that the algorithms actually perform much better in practice compared to the naive `follow the workload' provisioning, resulting in 20-40% cost-savings.

研究の動機と目的

• SLAで指定された遅延要件の柔軟性を活用して、データセンタのエネルギー消費を削減すること。
• デッドライン準拠を保証しながら、サーバー容量とワークロード割り当てを動的に決定するオンラインアルゴリズムの開発。
• 最適なオフライン定式化と比較したオンラインアルゴリズムの性能に対する理論的境界の提供。
• シミュレーションと35ノードのHadoopクラスタを用いた実際のMapReduceワークロードでのアプローチの検証。
• ベースラインの「ワークロードに従う」容量確保戦略と比較して顕著なコスト削減を実現すること。

提案手法

• デッドライン制約下で時間スロットごとの最適な容量とワークロード割り当てを求めるためのオフライン線形計画法（LP）を定式化する。
• VFW(𝛿)というオンラインアルゴリズムを提案し、𝛿時間スロット先読みして低負荷期間に作業を延期することで、均一なデッドラインにおけるエネルギー消費とスイッチングコストを最小化する。
• GCP（一般化された容量確保）というオンラインアルゴリズムを設計し、隣接する時間スロット間で作業をバランスさせることで、非均一なデッドラインにおけるサーバーのオン/オフ切り替えを削減する。
• VFW(𝛿)とGCPの両方が、オフラインLP定式化と比較して有界な競合比を達成することを証明し、理論的な性能保証を確保する。
• ワークロード延期を容量確保に統合し、優先順位対応および適応的スケジューリングポリシーをサポートする動的リソース割り当てを可能にする。
• 実際のMapReduceトレースと35ノードのHadoopクラスタでの実験を用いて、エネルギー消費削減の測定を通じてアプローチの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 SLAデッドライン制約下でのワークロードの動的延期は、データセンタのエネルギー消費を削減できるか？
• RQ2 オンラインアルゴリズムは、デッドライン準拠を保証しながら、容量確保とワークロードスケジューリングを最適化し、エネルギーコストを最小化できるか？
• RQ3 オンラインアルゴリズムの理論的性能境界は、最適なオフライン解と比較してどの程度か？
• RQ4 提案されたアルゴリズムは、さまざまなワークロードにおいて、ベースラインの「ワークロードに従う」戦略と比較して、エネルギー消費削減の面でどの程度優れているか？
• RQ5 実際のデータセンタワークロードは、実装可能な動的延期によってどの程度恩恵を受けることができるか？

主な発見

• GCPアルゴリズムは24時間のシミュレーションで最大40%の総コスト削減を達成し、VFW(𝛿)やベースラインの「ワークロードに従う」戦略を大きく上回った。
• 35ノードのHadoopクラスタを用いた実世界実験（4時間）では、VFW(𝛿)が約6.02%のエネルギー消費削減、GCPが約12%の削減を達成した。
• 両アルゴリズムとも、「容量を確保しない」戦略（現在のデータセンタで一般的）と比較して、ピークエネルギー消費を50%以上削減した。
• VFW(𝛿)は、小さなデッドライン要件でも20%のコスト削減を達成しており、厳しい遅延制約下でも頑健であることが示された。
• 理論的分析により、VFW(𝛿)とGCPの両方が定数の競合比を有することを確認し、最適なオフライン解と比較して性能が有界であることが保証された。
• アルゴリズムは実装が簡単で、計算オーバーヘッドが最小限であるため、実際のデータセンタ環境への導入に適している。