[论文解读] Analysis of Distributed Execution of Workloads.

Matteo Turilli, Yadu Babuji+5 more|arXiv (Cornell University)|May 31, 2016

Distributed and Parallel Computing Systems参考文献 12被引用 4

一句话总结

本文提出了一种集成框架，结合AIMES中间件与Swift，以实现跨多个生产资源的异构、解耦工作负载的可扩展、互操作分布式执行。通过实验比较执行策略，结果表明，回填调度可减少完成时间并缓解 pilot 任务碎片化，从而实现跨五种不同资源的高效多阶段工作流执行。

ABSTRACT

Resource selection and task placement for distributed execution poses conceptual and implementation difficulties. Although resource selection and task placement are at the core of many tools and workflow systems, the models and methods are underdeveloped. Consequently, partial and non-interoperable implementations proliferate. We address both the conceptual and implementation difficulties by experimentally characterizing diverse modalities of resource selection and task placement. We compare the architectures and capabilities of two systems: the AIMES middleware and Swift workflow scripting language and runtime. We integrate these systems to enable the distributed execution of Swift workflows on Pilot-Jobs managed by the AIMES middleware. Our experiments characterize and compare alternative execution strategies by measuring the time to completion of heterogeneous uncoupled workloads executed at diverse scale and on multiple resources. We measure the adverse effects of pilot fragmentation and early binding of tasks to resources and the benefits of backfill scheduling across pilots on multiple resources. We then use this insight to execute a multi-stage workflow across five production-grade resources. We discuss the importance and implications for other tools and workflow systems.

研究动机与目标

• 解决分布式工作流在资源选择与任务放置方面的概念与实现挑战。
• 比较AIMES中间件与Swift工作流系统在支持分布式执行方面的架构与能力。
• 评估pilot任务碎片化与早期任务绑定对工作流完成时间的影响。
• 探索在多个pilot作业上采用回填调度以提升资源利用率的优势。
• 实现并评估跨五种生产级资源的多阶段工作流端到端执行。

提出的方法

• 将AIMES中间件与Swift工作流系统集成，以协调pilot作业管理与工作流执行。
• 使用AIMES管理的pilot作业为执行Swift工作流提供持久、预先分配的资源。
• 在多种资源上以不同规模实验测量异构、解耦工作负载的完成时间。
• 比较采用与不采用回填调度的执行策略，以评估性能提升。
• 分析早期任务绑定与pilot任务碎片化对工作流效率的影响。
• 在五个生产级资源上执行多阶段工作流，以验证可扩展性与互操作性。

实验结果

研究问题

• RQ1 将任务早期绑定到资源如何影响分布式工作负载的完成时间？
• RQ2 pilot任务碎片化对分布式工作流执行性能与可扩展性有何影响？
• RQ3 在多个pilot作业上采用回填调度在多大程度上改善了工作流完成时间？
• RQ4 AIMES与Swift之间的架构差异如何影响互操作性与资源利用率？
• RQ5 是否能够通过集成系统在五个异构、生产级资源上高效且可靠地执行多阶段工作流？

主要发现

• 在多个pilot作业上采用回填调度显著减少了工作流完成时间，通过提升资源利用率实现。
• pilot任务碎片化导致完成时间增加，并降低分布式执行环境中的可扩展性。
• 将任务早期绑定到资源加剧了效率低下，尤其是在工作负载变化的条件下。
• AIMES与Swift的集成实现了跨多样化生产资源的互操作、可扩展的多阶段工作流执行。
• 实验评估证实，所提策略可减少完成时间，并在异构、大规模执行场景中增强弹性。