[论文解读] Balanced Overlay Networks (BON): Decentralized Load Balancing via Self-Organized Random Networks

Jesse S. A. Bridgewater, P. Oscar Boykin+1 more|ArXiv.org|Nov 15, 2004

Distributed and Parallel Computing Systems参考文献 25被引用 4

一句话总结

平衡覆盖网络（BON）是一种去中心化、自组织的框架，通过将节点资源可用性编码到覆盖网络的拓扑结构中，利用短距离随机游走将任务分配给可用容量最高的节点。该框架在无需中心协调的情况下实现了可扩展、高效的负载均衡，仿真结果表明其性能超越理论下限，并趋近于最优的d-正则随机图行为。

ABSTRACT

We present a novel framework, called balanced overlay networks (BON), that provides scalable, decentralized load balancing for distributed computing using large-scale pools of heterogeneous computers. Fundamentally, BON encodes the information about each node's available computational resources in the structure of the links connecting the nodes in the network. This distributed encoding is self-organized, with each node managing its in-degree and local connectivity via random-walk sampling. Assignment of incoming jobs to nodes with the most free resources is also accomplished by sampling the nodes via short random walks. Extensive simulations show that the resulting highly dynamic and self-organized graph structure can efficiently balance computational load throughout large-scale networks. These simulations cover a wide spectrum of cases, including significant heterogeneity in available computing resources and high burstiness in incoming load. We provide analytical results that prove BON's scalability for truly large-scale networks: in particular we show that under certain ideal conditions, the network structure converges to Erdos-Renyi (ER) random graphs; our simulation results, however, show that the algorithm does much better, and the structures seem to approach the ideal case of d-regular random graphs. We also make a connection between highly-loaded BONs and the well-known ball-bin randomized load balancing framework.

研究动机与目标

• 设计一种无需中心协调的去中心化、可扩展的负载均衡框架，适用于大规模异构计算环境。
• 仅使用本地信息和动态网络拓扑，实现高效的任务分配。
• 通过利用随机图特性并避免单点故障，确保系统的弹性与容错能力。
• 将BON的性能与既有的球-箱随机负载均衡理论相连接，以实现理论验证。
• 通过在多样化工作负载和网络条件下进行大规模仿真，证明其实际可行性。

提出的方法

• 每个节点的入度动态维护，以反映其未使用的计算资源，边的增减基于资源可用性。
• 任务分配通过贪心随机游走实现，采样节点并选择入度最高（空闲资源最多）的节点。
• 网络拓扑通过本地、去中心化的动作演化：节点根据资源使用情况和随机游走反馈调整其连接性。
• 使用基线基准对资源能力进行量化，每条边代表一个标准化的计算容量单位。
• 系统使用UDP进行低开销的状态维护，并依赖软状态机制以减少连接开销。
• 该算法设计为与标准网络协议兼容，并支持集成到现有分布式系统中，如SSI集群、网格计算和公共资源项目。

实验结果

研究问题

• RQ1 在无需中心协调的大规模异构网络中，去中心化负载均衡系统能否实现接近最优的性能？
• RQ2 覆盖网络拓扑的动态演化如何影响负载均衡效率与可扩展性？
• RQ3 在实际条件下，BON框架的结构在多大程度上趋近于理想随机图模型（如Erdös-Rényi图或d-正则图）？
• RQ4 BON的性能与理论下限以及既有的球-箱随机化负载均衡模型相比如何？
• RQ5 网络异构性和突发性工作负载对BON维持资源利用率均衡的能力有何影响？

主要发现

• BON框架在大规模网络中实现了可扩展的负载均衡，仿真结果表明其性能显著超越理论下限。
• 在理想条件下，网络结构趋近于Erdös-Rényi随机图，但实际中更趋近于更均衡的d-正则随机图结构。
• 由于随机图拓扑的固有鲁棒性以及无中心故障点的存在，该算法保持了高度的弹性与容错能力。
• 即使在过载情况下，BON仍能保持强大的均衡性能，这得益于类似球-箱负载均衡框架的“两个选择的力量”效应。
• 在高突发性和节点能力显著异构的条件下，系统仍保持高效，状态维护的开销极低。
• 通过基线基准对资源表示进行量化，确保即使低功耗节点也能将负载保持在最优平衡的10%以内。