[論文レビュー] Dominant Resource Fairness in Cloud Computing Systems with Heterogeneous Servers

Wei Wang, Baochun Li+1 more|arXiv (Cornell University)|Aug 1, 2013

Cloud Computing and Resource Management参考文献 24被引用数 90

ひとこと要約

本稿では、多様なサーバ構成を有する非均質なクラウド環境に一般化されたドミナントリソースフェアネス（DRF）を拡張する、DRFHと呼ばれるマルチリソース割り当てメカニズムを提案する。DRFHは、全リソースプール全体にわたる各ユーザーのグローバルドミナントシェアを均等化することで、フェアネス、効率性、真実性を確保する。Googleクラスタトレースを用いた大規模シミュレーションの結果、従来のスロットベースのスケジューラーと比較して、リソース利用効率が著しく向上し、ジョブ完了時間が短縮されることが示された。

ABSTRACT

We study the multi-resource allocation problem in cloud computing systems where the resource pool is constructed from a large number of heterogeneous servers, representing different points in the configuration space of resources such as processing, memory, and storage. We design a multi-resource allocation mechanism, called DRFH, that generalizes the notion of Dominant Resource Fairness (DRF) from a single server to multiple heterogeneous servers. DRFH provides a number of highly desirable properties. With DRFH, no user prefers the allocation of another user; no one can improve its allocation without decreasing that of the others; and more importantly, no user has an incentive to lie about its resource demand. As a direct application, we design a simple heuristic that implements DRFH in real-world systems. Large-scale simulations driven by Google cluster traces show that DRFH significantly outperforms the traditional slot-based scheduler, leading to much higher resource utilization with substantially shorter job completion times.

研究の動機と目的

• 多様なサーバ構成とワークロード要件を有する非均質なクラウド環境におけるスロットベースのスケジューラーの非効率性を解決すること。
• 非均質なサーバリソースと非均質なユーザーワークロードを公平かつ効率的にマッチングするマルチリソース割り当てメカニズムを開発すること。
• 非均質性下でも、 envy-freeness（偏りのない割り当て）、パレート最適性、真実性といった望ましい性質を確保すること。
• 実世界のクラウドシステムへの導入を想定した実用的ヒューリスティックを設計すること。
• 従来のスケジューラーとの性能比較を示すために、実際のGoogleクラスタトレースを用いてメカニズムを評価すること。

提案手法

• 全クラウドリソースプールにわたる各ユーザーのグローバルドミナントシェア（全リソースプール内で最も高い割合を占めるリソースの割合）を均等化するDRFHを提案する。
• グローバルドミナントシェアを、全サーバーにわたってユーザーが保有するリソース比の最大値として定義し、単一サーバーのDRFを非均質かつ分散型システムに一般化する。
• リソース断片化を最小限に抑え、割り当て効率を最大化するようにタスクをサーバーに割り当てるBest-Fitヒューリスティックを実装する。
• ユーザーが自らの真のリソース要件を不正報告しても利益を得られないことを証明することで、真実性を保証する。
• 実際のGoogleクラスタトレースを駆動とする大規模シミュレーションを用いて、DRFHをスロットベースのスケジューラーおよびFirst-Fit DRFHと比較評価する。
• envy-freeness、パレート最適性、ボトルネックフェアネス、パopulation単調性といったフェアネス特性を分析する。

実験結果

リサーチクエスチョン

• RQ1 複数の非均質なサーバー（異なるリソース構成を有する）から構成されるクラウドシステムにおいて、ドミナントリソースフェアネス（DRF）を一般化できるか？
• RQ2 提案されたDRFHメカニズムは、サーバーの非均質性下でも、 envy-freeness、パレート最適性、真実性といった主要なフェアネス特性を保持するか？
• RQ3 実世界のワークロードにおいて、DRFHは従来のスロットベースのスケジューラーと比較して、リソース利用効率およびジョブ完了時間の点で優れているか？
• RQ4 DRFHは、共有クラウド環境におけるタスク完了割合およびリソース共有インcentive（インセンティブ）をどの程度向上させるか？
• RQ5 Best-Fitのような実用的ヒューリスティックは、性能上の利点を維持しつつ、実世界のシステムにDRFHを効果的に実装できるか？

主な発見

• DRFHは、従来のスロットベースのスケジューラーと比較して、リソース利用効率を顕著に向上させ、シミュレーション全体でBest-Fit DRFHが全時間点において一貫して高い利用効率を達成した。
• DRFHではジョブ完了時間が著しく短縮され、特にタスク数の多い大きなジョブでは、平均完了時間の短縮が顕著に観察された。
• Best-Fit DRFHは、ほぼすべてのユーザーにおいてスロットスケジューラーよりも高いタスク完了割合を達成しており、DRFHでは完了するがスロットスケジューラーでは完了しないユーザーが約20％にのぼった。
• DRFHでは、わずか2％のユーザーしかタスク完了割合が低下しなかった（専用クラウドと比較してやや減少）ことから、強力なリソース共有インセンティブが得られた。
• Best-Fit DRFHは、First-Fit DRFHと比較して、リソース利用効率およびジョブ完了時間の両面で優れており、割り当て戦略の重要性を裏付けた。
• サーバー非均質性によって生じる複雑さにもかかわらず、DRFHは envy-freeness、パレート最適性、真実性といったすべての核心的フェアネス特性を維持した。