[论文解读] Balancing indivisible real-valued loads in arbitrary networks

Ömer Burak Demirel, Ivo F. Sbalzarini|arXiv (Cornell University)|Aug 1, 2013

Distributed and Parallel Computing Systems参考文献 34被引用 3

一句话总结

本文提出 SortedGreedy 算法，用于在任意网络中对不可分割的实数值工作负载进行动态负载均衡，采用平衡电路模型（BCM）。通过在本地均衡前对负载进行排序，该算法显著降低了差异性——相比 Greedy 算法最高可提升 135 倍——尽管通信开销更高，但其性能-成本比仍保持 20 倍的优越性。

ABSTRACT

In parallel computing, a problem is divided into a set of smaller tasks that are distributed across multiple processing elements. Balancing the load of the processing elements is key to achieving good performance and scalability. If the computational costs of the individual tasks vary over time in an unpredictable way, dynamic load balancing aims at migrating them between processing elements so as to maintain load balance. During dynamic load balancing, the tasks amount to indivisible work packets with a real-valued cost. For this case of indivisible, real- valued loads, we analyze the balancing circuit model, a local dynamic load-balancing scheme that does not require global communication. We extend previous analyses to the present case and provide a probabilistic bound for the achievable load balance. Based on an analogy with the offline balls-into-bins problem, we further propose a novel algorithm for dynamic balancing of indivisible, real-valued loads. We benchmark the proposed algorithm in numerical experiments and compare it with the classical greedy algorithm, both in terms of solution quality and communication cost. We find that the increased communication cost of the proposed algorithm is compensated by a higher solution quality, leading on average to about an order of magnitude gain in overall performance.

研究动机与目标

• 解决在任意网络中对不可分割实数值负载进行负载均衡的理论与算法分析缺失问题。
• 将先前针对离散（单位大小）负载均衡的理论扩展至连续的实数值情形。
• 设计一种实用且可扩展的算法，在无需全局通信的前提下提升负载均衡质量。
• 评估基于 BCM 的动态负载均衡中，解决方案质量（差异性）与通信成本之间的权衡。
• 证明基于排序的负载均衡方法在准确性和效率方面均优于经典贪心方法。

提出的方法

• 通过修改离散情形下的理论边界，将平衡电路模型（BCM）适配于不可分割的实数值负载。
• 在假设最大负载非递增、最小负载非递减的前提下，推导出 BCM 下期望差异性的紧致概率边界。
• 提出 SortedGreedy——一种在每对匹配处理器之间进行本地均衡前先对负载进行排序的本地负载均衡算法。
• 采用离线加权球入箱框架来建模和分析负载分布质量与收敛速度。
• 实现两种基于 BCM 的协议：一种使用 SortedGreedy 作为本地均衡原语，另一种使用经典 Greedy。
• 定义性能指标 $ S = p \frac{\text{disc}}{\alpha} $ 以进行性能比较，其中 $\text{disc}$ 为差异性降低量，$\alpha$ 为总负载移动量。

实验结果

研究问题

• RQ1 能否为使用 BCM 的不可分割实数值负载均衡推导出紧致的理论差异性边界？
• RQ2 在本地均衡前对负载值进行排序，相较于贪心分配，对最终负载均衡质量有何影响？
• RQ3 在基于 BCM 的动态负载均衡中，解决方案质量（差异性）与通信成本（负载移动次数）之间的权衡如何？
• RQ4 在实际网络拓扑中，SortedGreedy 是否在差异性降低与整体性能-成本比方面均优于 Greedy？
• RQ5 总负载与节点数之比 $ L/n $ 如何影响 SortedGreedy 与 Greedy 的相对性能？

主要发现

• 在完全负载移动性下，SortedGreedy 相比 Greedy 将最终差异性降低最多达 135 倍；在部分移动性下，降低 21 倍。
• 尽管在完全移动性下通信成本高出 14 倍，在部分移动性下高出 2 倍，SortedGreedy 平均仍实现 22–24 倍更优的性能-成本比。
• 性能指标 $ S_{\text{rel}} $（平衡差异性降低与通信成本）表明，SortedGreedy 相比 Greedy 最多可提升 75 倍，平均提升 22–24 倍。
• 在大规模网络（$ n > 128 $）且具有部分移动性时，SortedGreedy 所需的负载移动次数预计少于 Greedy，从而消除了其通信成本劣势。
• 在满足一定条件下（最大负载非递增、最小负载非递减、每条匹配边的期望误差为零），离散情形下推导出的理论差异性边界同样适用于实数值负载。
• 当 $ m \gg n $ 时，SortedGreedy 相比 Greedy 实现 $ \text{O}(\log m) $ 更优的差异性，这是由于基于最优排序的分配策略。