[论文解读] Job Scheduling in High Performance Computing

Yuping Fan|arXiv (Cornell University)|Sep 20, 2021

Cloud Computing and Resource Management参考文献 36被引用 10

一句话总结

本文提出了一种智能HPC作业调度框架，通过整合实时监控、自适应决策和动态反馈机制，提升了系统效率和作业性能。该框架采用模块化架构，包含资源管理器、作业管理器、调度决策模块和性能监控器，以应对现代HPC系统中的可扩展性、资源争用和工作负载多样性问题。

ABSTRACT

The ever-growing processing power of supercomputers in recent decades enables us to explore increasing complex scientific problems. Effective scheduling these jobs is crucial for individual job performance and system efficiency. The traditional job schedulers in high performance computing (HPC) are simple and concentrate on improving CPU utilization. The emergence of new hardware resources and novel hardware structure impose severe challenges on traditional schedulers. The increasing diverse workloads, including compute-intensive and data-intensive applications, require more efficient schedulers. Even worse, the above two factors interplay with each other, which makes scheduling problem even more challenging. In recent years, many research has discussed new scheduling methods to combat the problems brought by rapid system changes. In this research study, we have investigated challenges faced by HPC scheduling and state-of-art scheduling methods to overcome these challenges. Furthermore, we propose an intelligent scheduling framework to alleviate the problems encountered in modern job scheduling.

研究动机与目标

• 应对HPC工作负载日益增长的复杂性以及包括突发缓冲和高径向网络在内的新型硬件架构的演进。
• 克服传统调度器（如FCFS、回填）的局限性，这些调度器优先考虑CPU利用率而非作业性能和公平性。
• 在共享、异构且动态的资源环境下，提升大规模HPC系统的可扩展性和响应能力。
• 实现智能且策略灵活的调度，能够根据不同的系统目标（如低延迟响应时间敏感工作负载或高效执行大型作业）进行自适应调整。
• 引入反馈驱动机制，通过持续监控作业和系统行为，检测并纠正性能退化问题。

提出的方法

• 设计一种包含五个核心组件的模块化智能调度框架：资源管理器、作业管理器、调度决策模块、系统性能监控器和作业性能监控器。
• 赋予调度决策模块根据系统目标（如公平性、资源利用率、低延迟）动态选择策略的能力，支持多种调度算法的插件式集成。
• 实施对系统和作业状态的实时监控，以检测异常情况，如长时间等待、异常退出或资源争用。
• 利用性能监控器提供的反馈，触发调度决策的自适应调整，从而提升长期系统效率。
• 集成分层和分布式调度原则，以在具有复杂资源拓扑结构的大规模HPC系统中实现有效扩展。
• 通过支持细粒度资源分配和动态资源预留，支持多样化的负载，包括计算密集型和数据密集型作业。

实验结果

研究问题

• RQ1 现代HPC调度器如何有效应对快速演进的硬件架构与多样化、动态的工作负载之间的相互作用？
• RQ2 为实现支持公平性、资源利用率和低延迟响应等多重系统目标的智能、自适应调度，需要哪些架构组件？
• RQ3 如何将实时系统和作业性能监控集成到调度流程中，以实现反馈驱动的优化？
• RQ4 传统调度器可通过何种方式扩展以支持新兴资源（如突发缓冲和高径向网络，例如Dragonfly）？
• RQ5 在共享且易发生资源争用的资源环境下，哪些机制可确保大规模HPC环境中系统的可扩展性和容错能力？

主要发现

• 传统HPC调度器（如Slurm和Moab/TORQUE）因采用静态策略且对动态工作负载和新型硬件支持有限，已不足以应对现代系统需求。
• 所提出的智能框架能够基于实时系统和作业监控动态调整调度策略，从而提升系统响应能力和效率。
• 性能监控组件可检测异常作业行为（如长时间等待或提前退出），支持主动的系统干预。
• 系统性能监控器与作业性能监控器的集成，使管理员能够识别与特定用户、项目或应用模式相关的性能瓶颈。
• 该框架的模块化设计支持可扩展性，允许根据站点特定目标灵活集成多种调度算法（如回填、延迟调度、WFP）。
• 通过支持分层和分布式调度模型，该框架能有效扩展至具有复杂资源拓扑结构和共享基础设施的大规模HPC系统。