[论文解读] Dynamic scheduling of virtual machines running hpc workloads in scientific grids

Omer Khalid, Ivo Maljević+4 more|arXiv (Cornell University)|Sep 24, 2010

Distributed and Parallel Computing Systems参考文献 11被引用 228

一句话总结

该论文提出了一种针对科学网格中高性能计算工作负载的动态虚拟机调度框架，通过监控虚拟化带来的实时性能开销，根据工作负载类型和截止时间自适应调整。通过将工作负载分类为计算、内存或I/O密集型，并据此调整调度决策，该系统在虚拟化开销波动的情况下，仍能提高满足截止时间的工作负载数量。

ABSTRACT

The primary motivation for uptake of virtualization has been resource isolation, capacity management and resource customization allowing resource providers to consolidate their resources in virtual machines. Various approaches have been taken to integrate virtualization in to scientific Grids especially in the arena of High Performance Computing (HPC) to run grid jobs in virtual machines, thus enabling better provisioning of the underlying resources and customization of the execution environment on runtime. Despite the gains, virtualization layer also incur a performance penalty and its not very well understood that how such an overhead will impact the performance of systems where jobs are scheduled with tight deadlines. Since this overhead varies the types of workload whether they are memory intensive, CPU intensive or network I/O bound, and could lead to unpredictable deadline estimation for the running jobs in the system. In our study, we have attempted to tackle this problem by developing an intelligent scheduling technique for virtual machines which monitors the workload types and deadlines, and calculate the system over head in real time to maximize number of jobs finishing within their agreed deadlines.

研究动机与目标

• 解决在运行HPC工作负载的科学网格中，虚拟化引入的性能开销问题。
• 提升虚拟化HPC环境中对时间敏感任务的截止时间遵守率。
• 开发一种考虑工作负载特异性虚拟化开销的动态调度技术。
• 实现实时根据工作负载类型和截止时间约束调整调度决策。
• 在虚拟化开销波动的条件下，最大化按时完成的工作负载数量。

提出的方法

• 系统根据运行时性能分析，将进入的工作负载分类为计算密集型、内存密集型或I/O密集型。
• 监控虚拟化层针对每类工作负载引入的实时性能开销。
• 动态调度算法利用工作负载分类和开销估计结果，对虚拟机进行优先级排序和资源分配。
• 调度器根据预测的开销和截止时间紧迫性，调整资源分配和部署决策。
• 该方法整合运行时反馈以优化开销估计，提升调度准确性。
• 在使用真实HPC工作负载轨迹的模拟网格环境中对框架进行了评估。

实验结果

研究问题

• RQ1 不同类型的HPC工作负载（计算、内存、I/O密集型）的虚拟化开销有何差异？
• RQ2 动态调度在多大程度上可缓解由虚拟化开销波动引起的工作负载截止时间延误？
• RQ3 工作负载分类能否提升虚拟化科学网格中调度的准确性和截止时间遵守率？
• RQ4 实时开销监控如何增强对时间敏感HPC工作负载的调度决策？
• RQ5 动态调度对按时完成工作负载总数的整体影响如何？

主要发现

• 与静态或非自适应调度相比，所提出的动态调度方法显著提升了截止时间遵守率。
• 将工作负载分类为计算、内存或I/O密集型，有助于更准确地预测虚拟化开销。
• 实时开销监控使调度器能够调整资源分配策略，减少截止时间延误。
• 在不同工作负载条件下，系统实现了按时完成工作负载数量的可测量提升。
• 该框架表明，考虑工作负载特异性开销可带来更可预测、更可靠的调度结果。
• 结果表明，基于工作负载类型和开销估计的动态自适应机制，可显著提升虚拟化HPC环境中系统的整体可靠性。