[论文解读] Optimal Load Balancing in Bipartite Graphs

Wentao Weng, Xingyu Zhou+1 more|arXiv (Cornell University)|Aug 20, 2020

Interconnection Networks and Systems参考文献 51被引用 5

一句话总结

本文提出了针对具有异构服务器和作业-服务器约束的二分图中的负载均衡策略 JFSQ（选择最短队列中最快的队列）和 JFIQ（选择空闲队列中最快的队列）。在‘高度连通’图条件下，随着服务器数量的增长，这两种策略在平均响应时间上均实现了渐近最优，优于经典策略如 JSQ 和 JIQ，在存在服务器异构性和局部性约束的系统中表现更优。

ABSTRACT

Applications in cloud platforms motivate the study of efficient load balancing under job-server constraints and server heterogeneity. In this paper, we study load balancing on a bipartite graph where left nodes correspond to job types and right nodes correspond to servers, with each edge indicating that a job type can be served by a server. Thus edges represent locality constraints, i.e., each job can only be served at servers which contained certain data and/or machine learning (ML) models. Servers in this system can have heterogeneous service rates. In this setting, we investigate the performance of two policies named Join-the-Fastest-of-the-Shortest-Queue (JFSQ) and Join-the-Fastest-of-the-Idle-Queue (JFIQ), which are simple variants of Join-the-Shortest-Queue and Join-the-Idle-Queue, where ties are broken in favor of the fastest servers. Under a "well-connected" graph condition, we show that JFSQ and JFIQ are asymptotically optimal in the mean response time when the number of servers goes to infinity. In addition to asymptotic optimality, we also obtain upper bounds on the mean response time for finite-size systems. We further show that the well-connectedness condition can be satisfied by a random bipartite graph construction with relatively sparse connectivity.

研究动机与目标

• 为解决现代云和数据处理系统中存在作业-服务器约束和异构服务器速度时实现低响应时间的挑战。
• 设计简单且实用的负载均衡策略，使其在存在服务器异构性和局部性约束的系统中优于经典方法如 JSQ 和 JIQ。
• 为有限规模系统建立平均响应时间的理论性能边界，并在多服务器和子 Halfin-Whitt（sub-Halfin-Whitt）情形下证明渐近最优性。
• 提出一种构建稀疏二分图的方法，使其满足实现最优性所必需的“高度连通”条件。
• 提供一种新颖的分析框架，用于界定异构负载均衡系统中系统行为与平均场极限之间的距离。

提出的方法

• 提出两种新颖的负载均衡策略：JFSQ 和 JFIQ，它们通过在队列长度或空闲状态相同时优先选择更快的服务器，扩展了 JSQ 和 JIQ 策略。
• 定义一种‘高度连通’图条件，以确保作业类型（端口）与服务器之间具有足够的连通性，从而支持渐近最优性。
• 利用状态空间坍缩结果，证明在高度连通条件下，系统行为会收敛至其平均场极限。
• 通过一种新颖的技术，分析接近平均场极限的异构系统，建立有限规模系统中平均响应时间的上界。
• 构建具有稀疏连通性的随机二分图，仍满足高度连通条件，其中节点度数在异构到达率下为 ω(1/(1−λ)²)，在同质到达率下为 ω((1−λ)⁻¹ ln(1/(1−λ)))。
• 通过在固定规模和增长规模系统上的仿真验证性能，将 JFSQ 和 JFIQ 与 JSQ、JIQ 和 JSQ-(2,2) 在不同系统负载和服务器数量下进行比较。

实验结果

研究问题

• RQ1 在具有异构服务器和作业-服务器约束的二分图中，简单的负载均衡策略是否能实现平均响应时间的渐近最优？
• RQ2 二分图的何种结构条件可确保 JFSQ 和 JFIQ 实现最优性能？
• RQ3 在具有异构服务速率的有限规模系统中，JFSQ 和 JFIQ 与经典策略如 JSQ 和 JIQ 的性能相比如何？
• RQ4 在随机二分图中，为维持高度连通条件并确保渐近最优性，所需的最小连通性是多少？
• RQ5 所提出的策略是否能在小缓冲区大小和系统规模增长的情况下仍保持近似最优性能？

主要发现

• 在高度连通图条件下，JFSQ 和 JFIQ 在多服务器情形（λ < 1）和子 Halfin-Whitt 情形（λ = 1 − N⁻ᵅ，α < 0.5）下均实现了平均响应时间的渐近最优。
• 在有限规模系统中，JFSQ 和 JFIQ 的平均响应时间非常接近理论下界，即使在高系统负载下（例如 λ ≈ 0.98）也表现优异。
• 对于随机二分图，高度连通条件可通过稀疏连通性实现：当到达率异构时，每个端口仅需 ω(1/(1−λ)²) 条连接；当到达率同质时，仅需 ω((1−λ)⁻¹ ln(1/(1−λ))) 条连接。
• 仿真结果表明，随着服务器数量增加（例如 N = 2048），JFSQ 和 JFIQ 的平均响应时间趋近于理论下界，而 JSQ 和 JIQ 由于忽略服务器异构性，未能实现最优性能。
• 即使在小缓冲区大小（b = 5）下，阻塞概率也趋于零，表明大规模系统中拥塞程度极低。
• 所提出的分析框架基于三项状态空间坍缩结果，能够有效界定异构负载均衡系统中系统行为与平均场极限之间的距离。