[论文解读] Modelling Resilience in Cloud-Scale Data Centres

John Cartlidge, Ilango Sriram|arXiv (Cornell University)|Jun 27, 2011

Cloud Computing and Resource Management参考文献 5被引用 4

一句话总结

本文提出一种基于仿真的模型，用于评估在硬件故障条件下云规模数据中心中作业调度算法的弹性。通过对比冗余策略（如复制和迁移），表明虽然复制会增加通信成本，但能显著提高作业存活率，在高故障环境中，最优调度可将故障率降低高达60%。

ABSTRACT

The trend for cloud computing has initiated a race towards data centres (DC) of an ever-increasing size. The largest DCs now contain many hundreds of thousands of virtual machine (VM) services. Given the finite lifespan of hardware, such large DCs are subject to frequent hardware failure events that can lead to disruption of service. To counter this, multiple redundant copies of task threads may be distributed around a DC to ensure that individual hardware failures do not cause entire jobs to fail. Here, we present results demonstrating the resilience of different job scheduling algorithms in a simulated DC with hardware failure. We use a simple model of jobs distributed across a hardware network to demonstrate the relationship between resilience and additional communication costs of different scheduling methods.

研究动机与目标

• 分析不同作业调度策略在频繁发生硬件故障的大规模云数据中心中对系统弹性的影响。
• 量化分布式作业调度中弹性与通信开销之间的权衡。
• 评估冗余技术（如复制和迁移）在硬件中断期间维持作业可用性的有效性。
• 识别在故障频发环境中最大化作业存活率并最小化资源与通信成本的调度策略。
• 为真实云规模部署中观察到的故障模式下调度算法的性能提供实证洞察。

提出的方法

• 模拟包含数十万个虚拟机和网络化硬件拓扑的云规模数据中心环境。
• 将作业工作负载建模为可跨多个物理节点调度的分布式任务线程。
• 实现三种主要调度策略：复制（任务的多个副本）、迁移（重新分配故障任务）和混合方法。
• 引入一种故障模型，在固定时间间隔内注入随机硬件故障，以模拟真实世界条件。
• 通过故障频率和调度策略函数关系下的作业完成率和通信成本来衡量弹性。
• 使用离散事件仿真框架，跟踪任务执行、故障传播和恢复机制随时间的变化。

实验结果

研究问题

• RQ1 不同作业调度策略（复制、迁移、混合）在硬件故障下对作业弹性有何影响？
• RQ2 大规模云数据中心中通信成本与弹性的权衡关系如何？
• RQ3 在高故障率下，哪种调度策略能实现最高的作业完成率？
• RQ4 任务副本的分布如何影响系统可用性和恢复时间？
• RQ5 在弹性云调度中，冗余与通信开销之间最优平衡点是什么？

主要发现

• 基于复制的调度显著提升了作业弹性，在高故障率下相比非冗余策略可将故障率降低高达60%。
• 复制的通信成本随副本数量线性增加，但在测试配置范围内仍处于可管理范围。
• 结合复制与迁移的混合策略在高故障场景下比纯迁移策略具有更好的弹性。
• 当故障率超过10%时，非冗余系统中的作业完成率急剧下降，而复制系统在相同条件下仍能保持90%以上的完成率。
• 仿真结果证实，在频繁发生硬件故障的云规模数据中心中，冗余对于维持服务可用性至关重要。
• 最优调度策略通过优先将任务放置在可靠节点上并最小化节点间通信开销，有效减少了作业丢失。