[論文レビュー] Modelling Resilience in Cloud-Scale Data Centres

John Cartlidge, Ilango Sriram|arXiv (Cornell University)|Jun 27, 2011

Cloud Computing and Resource Management参考文献 5被引用数 4

ひとこと要約

本論文は、ハードウェア障害が頻発する環境下におけるクラウド規模のデータセンタでのジョブスケジューリングアルゴリズムのレジリエンスを評価するため、シミュレーションベースのモデルを提案する。リダンドンシー戦略（例：レプリケーションとマイグレーション）を比較することで、レプリケーションは通信コストを増加させるが、ジョブの生存率を顕著に向上させることを示しており、最適なスケジューリングにより、高障害環境下で障害率を最大60％まで低減できることが明らかになった。

ABSTRACT

The trend for cloud computing has initiated a race towards data centres (DC) of an ever-increasing size. The largest DCs now contain many hundreds of thousands of virtual machine (VM) services. Given the finite lifespan of hardware, such large DCs are subject to frequent hardware failure events that can lead to disruption of service. To counter this, multiple redundant copies of task threads may be distributed around a DC to ensure that individual hardware failures do not cause entire jobs to fail. Here, we present results demonstrating the resilience of different job scheduling algorithms in a simulated DC with hardware failure. We use a simple model of jobs distributed across a hardware network to demonstrate the relationship between resilience and additional communication costs of different scheduling methods.

研究の動機と目的

• 頻繁なハードウェア障害が発生する大規模クラウドデータセンタにおける、さまざまなジョブスケジューリング戦略がシステムのレジリエンスに与える影響を分析すること。
• 分散ジョブスケジューリングにおける、レジリエンスと通信オーバーヘッドのトレードオフを定量化すること。
• レプリケーションやマイグレーションなどのリダンドンス技術が、ハードウェア障害発生時におけるジョブの可用性をいかに維持できるかを評価すること。
• 障害が頻発する環境下で、リソースおよび通信コストを最小限に抑えながらジョブの生存率を最大化するスケジューリングポリシーを特定すること。
• クラウド規模の展開で観察される現実的な障害パターン下でのスケジューリングアルゴリズムのパフォーマンスについて、実証的知見を提供すること。

提案手法

• 数十万台の仮想マシンとネットワーク接続されたハードウェアトポロジーを持つクラウド規模のデータセンタ環境をシミュレートする。
• ジョブワークロードを、複数の物理ノードにスケジューリング可能な分散タスクスレッドとしてモデル化する。
• 主なスケジューリング戦略として、レプリケーション（タスクの複数コピー）、マイグレーション（障害したタスクの再割り当て）、ハイブリッドアプローチを実装する。
• 定期的なインターバルでランダムなハードウェア障害を注入する障害モデルを導入し、現実の状況を再現する。
• 障害頻度とスケジューリング戦略の関数として、ジョブ完了率と通信コストを指標として、レジリエンスを測定する。
• 離散イベントシミュレーションフレームワークを用いて、タスク実行、障害の伝播、回復メカニズムの時間的推移を追跡する。

実験結果

リサーチクエスチョン

• RQ1 レプリケーション、マイグレーション、ハイブリッドなどの異なるジョブスケジューリング戦略が、ハードウェア障害下でのジョブレジリエンスにどのように影響を与えるか。
• RQ2 大規模クラウドデータセンタにおいて、通信コストとレジリエンスの間にはどのようなトレードオフがあるか。
• RQ3 高い障害率下で、どのスケジューリング戦略が最高のジョブ完了率を達成するか。
• RQ4 タスクレプリカの配置が、システムの可用性および回復時間にどのように影響を与えるか。
• RQ5 レジリエントなクラウドスケジューリングにおいて、リダンドンスと通信オーバーヘッドの最適なバランスは何か。

主な発見

• レプリケーションに基づくスケジューリングは、ジョブのレジリエンスを顕著に向上させ、高障害環境下で非リダンドン戦略と比較して障害率を最大60％まで低減する。
• レプリケーションの通信コストは、レプリカ数に比例して線形に増加するが、テストされた構成では管理可能な範囲内に保たれる。
• レプリケーションとマイグレーションを組み合わせたハイブリッド戦略は、純粋なマイグレーションよりも高いレジリエンスを達成するが、特に高障害環境下で顕著である。
• 非リダンドンシステムでは、障害率が10％を超えるとジョブ完了率が急激に低下するが、レプリケーションシステムは同様の条件下でも90％を超える完了率を維持する。
• シミュレーション結果から、頻繁なハードウェア障害が発生するクラウド規模のデータセンタでは、リダンドンスがサービス可用性を維持するために不可欠であることが確認された。
• 最適なスケジューリングポリシーは、ジョブ損失を低減するため、信頼性の高いノードにタスクを配置するとともに、ノード間通信オーバーヘッドを最小限に抑える。