[论文解读] Executing Dynamic and Heterogeneous Workloads on Super Computers

André Merzky, Mark Santcroos+2 more|arXiv (Cornell University)|Dec 27, 2015

Distributed and Parallel Computing Systems参考文献 44被引用 7

一句话总结

本文提出 RADICAL-Pilot（RP），一种可移植的、基于 Python 的 pilot 系统，通过使用作业占位符和延迟绑定，将工作负载定义、资源选择与任务执行解耦，以动态管理超级计算机上的异构、不可预测的工作负载。该系统实现每秒超过 100 个任务的处理速度，并可维持高达 8,000 个并发任务，展示了在多种 HPC 环境中的可扩展性与适应性。

ABSTRACT

Many scientific applications have workloads comprised of multiple heterogeneous tasks that are not known in advance and may vary in the resources needed during execution. However, high-performance computing systems are designed to support applications comprised of mostly monolithic, single-job workloads. Pilot systems decouple workload specification, resource selection, and task execution via job placeholders and late-binding. Pilot systems help to satisfy the resource requirements of workloads comprised of multiple tasks with the capabilities and usage policies of HPC systems. RADICAL-Pilot (RP) is a portable, modular and extensible Python-based Pilot system. In this paper we describe RP’s design, discuss how it is engineered, characterize its performance and show its ability to execute heterogeneous and dynamic workloads on a range of high-performance computing systems. RP is capable of spawning more than 100 tasks/second and the steady-state execution of up to 8,000 concurrent tasks. RP can be used stand-alone, as well as integrated with other application-level tools as a runtime system.

研究动机与目标

• 解决在主要为单体、单工作负载设计的 HPC 系统上执行动态且异构的科学工作负载的挑战。
• 将工作负载定义、资源选择与任务执行解耦，以提升适应性与资源利用率。
• 通过延迟绑定任务到资源，以适应执行过程中不可预测的资源需求。
• 设计一种可移植、模块化且可扩展的运行时系统，兼容多种 HPC 环境与应用工具。
• 在真实超级计算系统上执行复杂动态工作负载时，展示高性能与可扩展性。

提出的方法

• 采用基于 pilot 的执行模型，利用作业占位符将工作负载定义与资源分配及执行解耦。
• 实现延迟绑定语义，仅在必要时将任务绑定到资源，从而支持运行时对资源可用性与工作负载动态变化的适应。
• 将 RADICAL-Pilot（RP）设计为模块化、可扩展且可移植的基于 Python 的 HPC 工作负载运行时系统。
• 通过异步任务启动与动态资源供给，支持异构任务的高吞吐量执行。
• 将 RP 作为运行时系统与应用级工具集成，实现科学工作流中的无缝部署。
• 优化任务调度与资源管理，以最小化开销并最大化并发性与吞吐量。

实验结果

研究问题

• RQ1 如何在 HPC 系统上有效管理运行时资源需求未知的动态且异构的工作负载？
• RQ2 基于 Python 的 pilot 系统在超级计算机上实现的任务吞吐量与并发性具有怎样的性能特征？
• RQ3 像 RADICAL-Pilot 这样模块化且可扩展的 pilot 系统在支持数千个并发任务方面能扩展到何种程度？
• RQ4 延迟绑定与工作负载定义和执行的解耦在 HPC 环境中如何提升适应性与资源利用率？
• RQ5 RADICAL-Pilot 是否可作为独立系统有效使用，或可作为运行时组件集成到现有应用级工具中？

主要发现

• RADICAL-Pilot 实现的任务创建速率超过每秒 100 个任务，证明了其对动态工作负载的高吞吐能力。
• 该系统可稳定维持高达 8,000 个并发任务的执行，表明其在 HPC 系统上具备强大的可扩展性。
• 通过将任务定义与资源绑定解耦，RADICAL-Pilot 有效管理了具有不同资源需求的异构工作负载。
• 该系统具备可移植性与可扩展性，支持与其他应用级工具作为运行时环境集成。
• 通过使用延迟绑定与作业占位符，系统能够有效适应资源可用性与工作负载特性的运行时变化。
• RADICAL-Pilot 的设计使得在多种高性能计算平台上高效执行复杂动态科学工作流成为可能。