[论文解读] Asymptotic Optimality of Power-of-$d$ Load Balancing in Large-Scale Systems

Debankur Mukherjee, Sem Borst+2 more|Research portal (Tilburg University)|Dec 2, 2016

Advanced Queuing Theory Analysis参考文献 22被引用 12

一句话总结

该论文在大规模系统中建立了幂次-$d$负载均衡方案的渐近最优性，表明当 $d(N) \to \infty$ 时，流体极限与最优的加入最短队列（JSQ）策略一致；当 $d(N)/\sqrt{N}\log(N) \to \infty$ 时，扩散极限也一致。关键贡献在于提出了一种新颖的随机耦合构造，证明了在显著降低通信开销的情况下仍能实现近似最优性能——在流体和扩散水平上，开销分别近乎减少了 $O(N)$ 和 $O(\sqrt{N}/\log(N))$。

ABSTRACT

We consider a system of $N$ identical server pools and a single dispatcher where tasks arrive as a Poisson process of rate $λ(N)$. Arriving tasks cannot be queued, and must immediately be assigned to one of the server pools to start execution, or discarded. The execution times are assumed to be exponentially distributed with unit mean, and do not depend on the number of other tasks receiving service. However, the experienced performance (e.g. in terms of received throughput) does degrade with an increasing number of concurrent tasks at the same server pool. The dispatcher therefore aims to evenly distribute the tasks across the various server pools. Specifically, when a task arrives, the dispatcher assigns it to the server pool with the minimum number of tasks among $d(N)$ randomly selected server pools. This assignment strategy is called the JSQ$(d(N))$ scheme, as it resembles the power-of-$d$ version of the Join-the-Shortest-Queue (JSQ) policy, and will also be referred to as such in the special case $d(N) = N$. We construct a stochastic coupling to bound the difference in the system occupancy processes between the JSQ policy and a scheme with an arbitrary value of $d(N)$. We use the coupling to derive the fluid limit in case $d(N) o \infty$ and $λ(N)/N o λ$ as $N o \infty$, along with the associated fixed point. The fluid limit turns out to be insensitive to the exact growth rate of $d(N)$, and coincides with that for the JSQ policy. We further leverage the coupling to establish that the diffusion limit corresponds to that for the JSQ policy as well, as long as $d(N)/\sqrt{N} \log(N) o \infty$, and characterize the common limiting diffusion process. These results indicate that the JSQ optimality can be preserved at the fluid-level and diffusion-level while reducing the overhead by nearly a factor O($N$) and O($\sqrt{N}/\log(N)$), respectively.

研究动机与目标

• 研究在大规模系统中，是否可以在降低通信开销的同时保持最优加入最短队列（JSQ）策略的性能。
• 确定JSQ($d(N)$)方案实现流体和扩散水平最优性所需的$d(N)$的最小增长率。
• 提出一种新颖的随机耦合框架，用于比较JSQ($d(N)$)与完整JSQ策略的系统占用过程。
• 证明在$d(N)$满足较弱增长条件时，JSQ($d(N)$)的流体和扩散极限与完整JSQ策略一致。
• 量化大规模系统中随机化负载均衡方案在性能最优性与通信成本之间的权衡。

提出的方法

• 提出一种两阶段随机耦合方法，利用从$n(N)+1$个最小队列池中选择的中间方案，连接JSQ与JSQ($d(N)$)。
• 构建耦合以界定向量系统占用过程在JSQ与JSQ($d(N)$)之间的差异，从而实现流体和扩散极限的比较。
• 使用局部鞅表示和相对紧致性论证，推导出在 $d(N) \to \infty$ 且 $\lambda(N)/N \to \lambda$ 条件下的流体极限。
• 在Halfin-Whitt区域应用扩散极限分析，证明当 $d(N)/\sqrt{N}\log(N) \to \infty$ 时，其与JSQ等价。
• 采用随机不等式和渐近等价性论证，证明在特定缩放下JSQ($d(N)$)过程收敛于JSQ过程。
• 利用普遍性特性表明，只要 $d(N)$ 足够发散，极限行为对 $d(N)$ 的精确增长率不敏感。

实验结果

研究问题

• RQ1 在何种 $d(N)$ 条件下，JSQ($d(N)$)方案的流体极限与完整JSQ策略一致？
• RQ2 JSQ($d(N)$)的扩散极限与JSQ策略一致所需的 $d(N)$ 最小增长率是多少？
• RQ3 能否在大规模系统中显著降低通信开销的同时，保持最优JSQ策略的性能？
• RQ4 所提出的随机耦合方法如何实现JSQ与JSQ($d(N)$)在流体和扩散水平上的比较？
• RQ5 仅使用随机抽样队列的子集进行负载分配时，JSQ的最优性是否依然稳健？

主要发现

• 只要 $d(N) \to \infty$ 当 $N \to \infty$，无论其具体增长率如何，JSQ($d(N)$)的流体极限与完整JSQ策略一致。
• 当 $d(N)/\sqrt{N}\log(N) \to \infty$ 时，JSQ($d(N)$)的扩散极限与JSQ策略一致，且该条件几乎为必要条件。
• 与完整JSQ相比，JSQ($d(N)$)的通信开销在流体水平上减少了近 $O(N)$，在扩散水平上减少了近 $O(\sqrt{N}/\log(N))$。
• 所提出的随机耦合构造实现了JSQ与JSQ($d(N)$)之间的二维比较，克服了直接比较的困难。
• 只要 $d(N) \to \infty$，JSQ($d(N)$)的极限流体和扩散过程对 $d(N)$ 的精确增长率不敏感。
• 结果证实，即使显著减少状态信息，JSQ策略的最优性仍能渐近保持，使其在大规模系统中具有实际可行性。