[论文解读] Canary: A Scheduling Architecture for High Performance Cloud Computing

Hang Qu, Omid Mashayekhi+2 more|arXiv (Cornell University)|Feb 3, 2016

Cloud Computing and Resource Management参考文献 33被引用 14

一句话总结

Canary 提出了一种去中心化的调度架构，将任务调度的责任从中央控制器转移到各个工作节点，从而在数千个核心上实现高性能分析。通过将数据分片分配给工作节点，由其在本地调度任务，Canary 相较于 Spark 实现了高达 90 倍的加速，相较于 GraphX 实现了 4 倍的加速，且在 64 个工作节点上实现了每秒超过 1.2 亿个任务的可扩展调度性能。

ABSTRACT

We present Canary, a scheduling architecture that allows high performance analytics workloads to scale out to run on thousands of cores. Canary is motivated by the observation that a central scheduler is a bottleneck for high performance codes: a handful of multicore workers can execute tasks faster than a controller can schedule them. The key insight in Canary is to reverse the responsibilities between controllers and workers. Rather than dispatch tasks to workers, which then fetch data as necessary, in Canary the controller assigns data partitions to workers, which then spawn and schedule tasks locally. We evaluate three benchmark applications in Canary on up to 64 servers and 1,152 cores on Amazon EC2. Canary achieves up to 9-90X speedup over Spark and up to 4X speedup over GraphX, a highly optimized graph analytics engine. While current centralized schedulers can schedule 2,500 tasks/second, each Canary worker can schedule 136,000 tasks/second per core and experiments show this scales out linearly, with 64 workers scheduling over 120 million tasks per second, allowing Canary to support optimized jobs running on thousands of cores.

研究动机与目标

• 解决高性能分析工作负载中集中式调度器的可扩展性瓶颈问题。
• 在云环境中实现跨数千个核心的高效工作负载执行。
• 通过将调度责任从控制器转移至工作节点，降低调度开销。
• 在真实世界分析基准上评估所提出架构的性能。

提出的方法

• 颠覆传统调度方式，将数据分片分配给工作节点，而非由中央控制器分发任务。
• 每个工作节点在其分配的数据分片上本地调度并执行任务，从而减轻控制器负载。
• 采用去中心化架构，工作节点在其分配的数据段内自主管理任务调度。
• 在工作节点间实现线性扩展，每个核心每秒可调度 136,000 个任务。
• 使用 Amazon EC2 在最多 64 台服务器和 1,152 个核心上评估性能。
• 通过三个基准应用程序与 Spark 和 GraphX 进行性能对比。

实验结果

研究问题

• RQ1 去中心化调度模型是否能在大规模分析工作负载中显著优于集中式调度器？
• RQ2 在分布式环境中，任务调度吞吐量在多个工作节点上如何扩展？
• RQ3 去中心化调度在高性能计算中能在多大程度上缓解控制器瓶颈？
• RQ4 与现有系统（如 Spark 和 GraphX）相比，所提出的架构能带来多大的性能提升？

主要发现

• Canary 在所评估的基准上相较 Spark 最高实现 90 倍的加速。
• Canary 相较于高度优化的图分析引擎 GraphX 最高实现 4 倍的加速。
• 每个 Canary 工作节点每核心每秒可调度 136,000 个任务，展现出极高的调度吞吐量。
• 在 64 个工作节点下，Canary 可扩展至每秒超过 1.2 亿个任务，表现出线性可扩展性。
• 该架构消除了中心化调度器的瓶颈，使数千个核心上的高效执行成为可能。
• 在云环境中的多个基准应用程序上，性能提升保持一致。