[论文解读] On Universal Scaling of Distributed Queues under Load Balancing

Xin Liu, Lei Ying|arXiv (Cornell University)|Dec 26, 2019

Advanced Queuing Theory Analysis参考文献 27被引用 14

一句话总结

本文在重载条件下建立了分布式队列系统在负载均衡下的通用缩放规律，表明诸如 JSQ、I1F 和采样充分的 Power-of-d-choices 算法可实现渐近零等待时间与近似最优的资源利用率。研究证明，在 $ \alpha \in [0.5,1) $ 的一般负载均衡算法类别下，拥有两份任务的服务器数量为 $ O(N^\alpha \log N) $，而拥有超过两份任务的服务器则极为稀少。

ABSTRACT

This paper considers the steady-state performance of load balancing algorithms in a many-server system with distributed queues. The system has $N$ servers, and each server maintains a local queue with buffer size $b-1,$ i.e. a server can hold at most one job in service and $b-1$ jobs in the queue. Jobs in the same queue are served according to the first-in-first-out (FIFO) order. The system is operated in a heavy-traffic regime such that the workload per server is $λ= 1 - N^{-α}$ for $0.5\leq α<1.$ We identify a set of algorithms such that the steady-state queues have the following universal scaling, where {\em universal} means that it holds for any $α\in[0.5,1)$: (i) the number of of busy servers is $λN-o(1);$ and (ii) the number of servers with two jobs (one in service and one in queue) is $O(N^α\log N);$ and (iii) the number of servers with more than two jobs is $O\left(\frac{1}{N^{r(1-α)-1}} ight),$ where $r$ can be any positive integer independent of $N.$ The set of load balancing algorithms that satisfy the sufficient condition includes join-the-shortest-queue (JSQ), idle-one-first (I1F), and power-of-$d$-choices (Po$d$) with $d\geq N^α\log^2 N.$ We further argue that the waiting time of such an algorithm is near optimal order-wise.

研究动机与目标

• 刻画大规模数据中心中分布式队列在重载条件下负载均衡算法的稳态性能。
• 识别一类广泛适用的负载均衡算法，使其在由 $ \alpha \in [0.5,1) $ 参数化的不同重载条件下均表现出通用缩放特性。
• 利用 Stein 方法与李雅普诺夫漂移，建立队列长度度量的矩界，从而分析等待时间与阻塞概率。
• 证明在相同算法类别下，拥有超过两份任务的服务器数量渐近可忽略，而拥有两份任务的服务器数量按 $ O(N^\alpha \log N) $ 缩放。
• 证明等待时间与等待概率为 $ O(\log N / N^{1-\alpha}) $，当 $ N \to \infty $ 时对任意 $ \alpha < 1 $ 均趋于零。

提出的方法

• 利用 Stein 方法与通过李雅普诺夫漂移实现的状态空间坍缩（SSC）技术，推导拥有至少 $ i $ 份任务的服务器数量的矩界。
• 应用负载均衡算法的充分条件（记为 $ \Pi $），该条件涵盖 JSQ、I1F 以及采样数满足 $ d \geq N^\alpha \log^2 N $ 的 Power-of-$ d $-choices 算法。
• 推导 $ \max\left\{ \sum_{i=1}^b S_i - 1 - \frac{k \log N}{N^{1-\alpha}}, 0 \right\} $ 的 $ r $ 阶矩上界，其中 $ S_i $ 表示拥有至少 $ i $ 份任务的服务器比例。
• 结合 Little 定律与工作保守性，将队列长度矩与期望等待时间及阻塞概率关联。
• 利用马尔可夫不等式与条件期望界，控制队列长度与阻塞事件的尾部概率。
• 通过结合矩界与概率集中性论证，建立等待时间与等待概率的渐近界。

实验结果

研究问题

• RQ1 在 $ \alpha \in [0.5,1) $ 的重载条件下，分布式队列在负载均衡下的稳态行为如何？
• RQ2 哪些负载均衡算法可在不同 $ \alpha \in [0.5,1) $ 下实现与系统规模 $ N $ 无关的通用缩放？
• RQ3 拥有两份任务的服务器数量如何随 $ N $ 缩放？拥有超过两份任务的服务器的渐近频率如何？
• RQ4 在所识别的算法类别下，等待时间与等待概率的渐近行为如何？
• RQ5 队列长度度量的矩界如何转化为等待时间与阻塞概率的界？

主要发现

• 忙碌服务器数量为 $ \lambda N - o(1) $，表明在 $ \Pi $ 中任意算法下均实现近乎满负载利用率。
• 恰好拥有两份任务的服务器数量（一份正在服务，一份排队）按 $ O(N^\alpha \log N) $ 缩放，是队列延迟的主要贡献者。
• 拥有超过两份任务的服务器数量为 $ O\left( \frac{1}{N^{r(1-\alpha)-1}} \right) $，对任意正整数 $ r $ 成立，表明其渐近可忽略。
• 等待概率与平均等待时间均为 $ O\left( \frac{\log N}{N^{1-\alpha}} \right) $，当 $ N \to \infty $ 时对任意 $ \alpha < 1 $ 均趋于零。
• 结果在 $ \Pi $ 类别中具有普适性，该类别包含 JSQ、I1F 以及采样数满足 $ d \geq N^\alpha \log^2 N $ 的 Power-of-$ d $-choices 算法。
• 在 $ \alpha = 0.5 $ 处的相变（即 Halfin-Whitt 区域）在分布式队列系统中得到确认，其行为与单队列多服务器系统一致。