[论文解读] Execution Templates: Caching Control Plane Decisions for Strong Scaling of Data Analytics

Omid Mashayekhi, Hang Qu+2 more|arXiv (Cornell University)|May 4, 2017

Cloud Computing and Resource Management参考文献 29被引用 12

一句话总结

本文提出了执行模板（execution templates），一种控制平面抽象机制，可在实现集中式调度与细粒度任务控制的同时，达到分布式系统的高吞吐量——在评估中实现每秒500,000个任务的处理能力。通过缓存频繁执行的控制流模块，并支持运行时动态编辑或模板替换，执行模板在不牺牲性能的前提下保持了调度灵活性，从而在数据 analytics 工作负载中实现强大的可扩展性。

ABSTRACT

Control planes of cloud frameworks trade off between scheduling granularity and performance. Centralized systems schedule at task granularity, but only schedule a few thousand tasks per second. Distributed systems schedule hundreds of thousands of tasks per second but changing the schedule is costly. We present execution templates, a control plane abstraction that can schedule hundreds of thousands of tasks per second while supporting fine-grained, per-task scheduling decisions. Execution templates leverage a program's repetitive control flow to cache blocks of frequently-executed tasks. Executing a task in a template requires sending a single message. Large-scale scheduling changes install new templates, while small changes apply edits to existing templates. Evaluations of execution templates in Nimbus, a data analytics framework, find that they provide the fine-grained scheduling flexibility of centralized control planes while matching the strong scaling of distributed ones. Execution templates support complex, real-world applications, such as a fluid simulation with a triply nested loop and data dependent branches.

研究动机与目标

• 解决数据 analytics 框架控制平面中的瓶颈问题，该问题限制了在 CPU 和任务吞吐量持续提升情况下的强可扩展性。
• 调和现代数据 analytics 系统中细粒度调度（集中式）与高任务吞吐量（分布式）之间的权衡。
• 设计一种控制平面抽象机制，支持动态、数据依赖的控制流，同时保持低延迟、高吞吐量的任务调度。
• 在真实工作负载中评估执行模板，包括包含嵌套循环和条件分支的复杂模拟。
• 证明执行模板可在保持集中式控制器调度灵活性的同时，达到分布式数据流系统的性能水平。

提出的方法

• 执行模板在控制器中缓存频繁执行的任务模块块，减少重复的调度决策。
• 通过发送单条消息实例化模板，实现在大规模场景下的低延迟任务执行。
• 小规模调度变更通过直接编辑现有模板实现，而大规模变更则触发新模板的安装。
• 系统使用程序分析生成高效模板，并在部署前对预条件进行验证。
• 修补机制支持运行时对系统状态和控制流的更新，支持数据依赖分支和慢任务处理。
• 执行模板被集成到 Nimbus（一种数据 analytics 框架）中，工作节点从缓存的模板中执行任务，无需控制器干预。

实验结果

研究问题

• RQ1 控制平面抽象能否同时实现细粒度调度灵活性与每秒数十万任务的强可扩展性？
• RQ2 如何利用长时间运行的 analytics 作业中的重复控制流来降低控制平面开销？
• RQ3 在基于缓存的模板化调度模型中，对动态控制流和数据依赖分支的支持程度如何？
• RQ4 在真实工作负载中，执行模板的性能与集中式调度器（如 Spark）和分布式数据流系统（如 Naiad）相比如何？
• RQ5 执行模板能否支持复杂的、生产级别的 analytics 工作负载，例如具有短时任务的流体模拟？

主要发现

• 在 Nimbus 框架中，执行模板实现了每秒500,000个任务的吞吐量，与分布式数据流系统的强可扩展性相当。
• 系统通过模板的原地编辑支持动态调度变更，能够对慢任务和故障实现低延迟响应。
• 执行模板成功处理了复杂工作负载，包括使用最短100 μs任务的 PhysBAM 粒子水平集水模拟，以及三重嵌套循环。
• 评估表明，执行模板在高吞吐量场景下优于 Spark 的集中式调度器，同时保留了细粒度任务调度灵活性。
• 该方法通过运行时修补实现动态控制流，支持数据依赖分支和状态更新，而无需重启执行。
• 执行模板通过支持多个活跃模板、动态编辑和运行时重新配置，推广了静态数据流图的概念。