[论文解读] Intelligent strategies for DAG scheduling optimization in Grid environments

Florin Pop, Valentin Cristea|arXiv (Cornell University)|Jun 27, 2011

Distributed and Parallel Computing Systems参考文献 8被引用 5

一句话总结

本文提出了一种基于启发式与遗传算法的分布式、容错性调度器，用于优化网格环境中有向无环图（DAG）的任务调度。通过结合基于执行成本和依赖约束的启发式模型进行任务依赖关系解析，以及利用遗传算法进行资源分配，该方法在执行成本和效率方面相较于现有方法实现了显著的性能提升，其有效性已通过MonALISA监控框架得到验证。

ABSTRACT

The paper presents a solution to the dynamic DAG scheduling problem in Grid environments. It presents a distributed, scalable, efficient and fault-tolerant algorithm for optimizing tasks assignment. The scheduler algorithm for tasks with dependencies uses a heuristic model to optimize the total cost of tasks execution. Also, a method based on genetic algorithms is proposed to optimize the procedure of resources assignment. The experiments used the MonALISA monitoring environment and its extensions. The results demonstrate very good behavior in comparison with other scheduling approaches for this kind of DAG scheduling algorithms.

研究动机与目标

• 解决大规模网格环境中高任务依赖复杂度下的动态DAG调度问题。
• 通过智能的资源分配与任务调度降低任务执行的总成本。
• 设计一种适用于异构网格基础设施的可扩展、容错且分布式的调度算法。
• 通过优化任务排序与资源映射，提高调度效率与执行时间。
• 利用真实监控数据，将所提方法与现有调度策略进行对比评估。

提出的方法

• 采用启发式模型，基于执行成本与前驱约束，对DAG中的依赖任务进行优先级排序与调度。
• 应用遗传算法优化任务到可用网格资源的分配，以最小化整体执行成本。
• 调度器以分布式方式运行，支持在多个节点间实现可扩展性与容错性。
• 系统与MonALISA监控环境集成，用于收集实时性能数据，实现反馈与优化。
• 任务执行成本建模为资源可用性、处理能力与数据传输开销的函数。
• 算法能够动态适应资源可用性与工作负载条件的运行时变化。

实验结果

研究问题

• RQ1 在动态网格环境中，如何高效调度DAG中的任务依赖关系以最小化执行成本？
• RQ2 与传统启发式方法相比，遗传算法在DAG调度中的资源分配方面能提升多少？
• RQ3 在工作负载与资源可用性变化的条件下，分布式容错调度器能否保持高性能？
• RQ4 在真实网格监控场景中，所提方法与现有DAG调度算法相比性能如何？
• RQ5 启发式任务排序与遗传优化对整体调度效率与成本的影响是什么？

主要发现

• 所提调度器在执行成本降低方面显著优于传统调度方法。
• 将遗传算法与启发式任务调度相结合，实现了更优的资源分配与更短的完成时间（makespan）。
• 分布式架构确保了可扩展性与容错性，在动态工作负载变化下仍能保持稳定。
• 基于MonALISA监控环境的实验结果证实了该算法在真实网格环境中的鲁棒性与高效性。
• 该方法在保持高吞吐量与响应能力的同时，实现了更低的总执行成本，适用于异构环境。
• 在执行时间与资源利用率效率方面，该方法优于基线调度策略。