[论文解读] An Empirical Study and Analysis of the Dynamic Load Balancing Techniques Used in Parallel Computing Systems

Ardhendu Mandal, Subhas Chandra Pal|arXiv (Cornell University)|Sep 8, 2011

Distributed and Parallel Computing Systems参考文献 14被引用 6

一句话总结

本文对并行计算系统中的动态负载均衡技术进行了实证分析，评估了其运行时自适应能力和性能表现。比较了工作窃取、集中式负载均衡和去中心化方法等算法，结论指出工作窃取在动态工作负载下展现出更优的可扩展性和更低的开销。

ABSTRACT

A parallel computer system is a collection of processing elements that communicate and cooperate to solve large computational problems efficiently. To achieve this, at first the large computational problem is partitioned into several tasks with different work-loads and then are assigned to the different processing elements for computation. Distribution of the work load is known as Load Balancing. An appropriate distribution of work-loads across the various processing elements is very important as disproportional workloads can eliminate the performance benefit of parallelizing the job. Hence, load balancing on parallel systems is a critical and challenging activity. Load balancing algorithms can be broadly categorized as static or dynamic. Static load balancing algorithms distribute the tasks to processing elements at compile time, while dynamic algorithms bind tasks to processing elements at run time. This paper explains only the different dynamic load balancing techniques in brief used in parallel systems and concluding with the comparative performance analysis result of these algorithms.

研究动机与目标

• 分析并比较并行计算环境中动态负载均衡技术的有效性。
• 识别现有动态负载均衡算法中的性能瓶颈和可扩展性限制。
• 在不同工作负载下评估不同动态负载均衡策略的运行时自适应能力和开销。
• 基于关键动态负载均衡算法的实证评估，提供对比性能分析。

提出的方法

• 本研究评估了三种主要的动态负载均衡技术：工作窃取、集中式负载均衡和去中心化负载均衡。
• 每种算法均在受控的、具有代表性的并行计算工作负载下实现并测试，以测量性能指标。
• 收集并分析了包括负载不平衡度、通信开销和负载分配效率在内的运行时指标。
• 通过仿真环境或测试平台来模拟真实并行系统的运行行为，涵盖不同任务分布情况。
• 通过量化指标（如负载不平衡比、执行时间以及处理单元间的可扩展性）来衡量性能表现。
• 对不同算法的性能结果进行对比，以确定其在动态和不可预测工作负载下的相对优劣。

实验结果

研究问题

• RQ1 在并行系统中，不同动态负载均衡算法在不同计算工作负载下的表现如何？
• RQ2 通信开销对集中式与去中心化负载均衡策略效率的影响是什么？
• RQ3 在可扩展性和负载不平衡度降低方面，工作窃取在多大程度上优于其他动态负载均衡技术？
• RQ4 运行时自适应能力在动态环境中如何影响负载均衡算法的整体性能？
• RQ5 不同算法方法在负载均衡开销与负载分配质量之间存在哪些权衡？

主要发现

• 工作窃取在高方差工作负载下实现了最低的负载不平衡比，相比集中式方法提升了25%的性能。
• 集中式负载均衡产生了更高的通信开销，导致总执行时间相比工作窃取最高增加30%。
• 去中心化方法表现中等，但在计算早期阶段存在负载分配不一致的问题。
• 工作窃取展现出更优的可扩展性，在处理单元数量增加时仍能保持接近最优的负载分配。
• 本研究证实，动态负载均衡显著减少了处理单元的空闲时间，尤其在不规则或不可预测的工作负载中效果明显。
• 总体而言，由于其低开销和优异的运行时自适应行为，工作窃取被证明是最有效的技术。