[论文解读] Load Balancing in the Non-Degenerate Slowdown Regime

Varun Gupta, Neil Walton|arXiv (Cornell University)|Jul 6, 2017

Advanced Queuing Theory Analysis参考文献 34被引用 6

一句话总结

本文在非退化减速（NDS）框架下提出了一种新型的联接最短队列（JSQ）负载均衡策略分析，该框架是一种多服务器渐近框架，其中空闲服务器数量在系统规模增长时保持固定。该研究推导了JSQ的扩散逼近，量化了JSQ与集中式队列化之间的15%性能差距，并提出了一种新型低开销策略——空闲优先一（I1F），其在显著降低通信开销的同时，实现了与JSQ相同的渐近性能。

ABSTRACT

We analyse Join-the-Shortest-Queue in a contemporary scaling regime known as the Non-Degenerate Slowdown regime. Join-the-Shortest-Queue (JSQ) is a classical load balancing policy for queueing systems with multiple parallel servers. Parallel server queueing systems are regularly analysed and dimensioned by diffusion approximations achieved in the Halfin-Whitt scaling regime. However, when jobs must be dispatched to a server upon arrival, we advocate the Non-Degenerate Slowdown regime (NDS) to compare different load-balancing rules. In this paper we identify novel diffusion approximation and timescale separation that provides insights into the performance of JSQ. We calculate the price of irrevocably dispatching jobs to servers and prove this to within 15% (in the NDS regime) of the rules that may manoeuvre jobs between servers. We also compare ours results for the JSQ policy with the NDS approximations of many modern load balancing policies such as Idle-Queue-First and Power-of-$d$-choices policies which act as low information proxies for the JSQ policy. Our analysis leads us to construct new rules that have identical performance to JSQ but require less communication overhead than power-of-2-choices.

研究动机与目标

• 在非退化减速（NDS）框架下分析联接最短队列（JSQ）的性能，该框架是一种非标准渐近框架，相较于传统框架更能有效区分负载均衡策略。
• 量化最优调度（JSQ）与最优池化（集中式队列化）之间的性能差距，尤其关注平均响应时间的差异。
• 设计一种低信息量的调度规则，使其在显著降低通信开销的前提下，实现与JSQ相似的性能，优于现有策略如“双选择法”（Power-of-2-choices）的通信成本。
• 证明NDS框架能够实现对负载均衡策略的有效区分——而传统框架（如重交通或Halfin-Whitt框架）中此类区分会消失。

提出的方法

• 在NDS框架下对JSQ策略应用扩散逼近，其定义为当服务器数量 $k \to \infty$ 时，空闲服务器数量保持固定。
• 利用随机平均原理、时间尺度分离和耦合技术，分析系统在JSQ及相关策略下的极限行为。
• 推导JSQ扩散极限的平稳分布，并基于漂移函数的随机优势关系，与其他策略的分布进行比较。
• 应用鞅函数中心极限定理，证明缩放后的队列过程收敛于扩散过程。
• 引入并分析空闲优先一（I1F）策略，该策略优先调度空闲服务器及仅含一个任务的服务器，证明其在渐近意义上与JSQ具有相同的平稳分布。
• 通过随机序关系与不变测度分析，比较NDS框架下JSQ、I1F、IQF及“d选法”策略的性能。

实验结果

研究问题

• RQ1 在非退化减速（NDS）框架下，联接最短队列（JSQ）策略的性能与集中式队列化相比如何？
• RQ2 是否存在一种低开销的负载均衡策略，能够实现与JSQ相当的渐近性能，同时最小化通信成本？
• RQ3 为何NDS框架相较于传统渐近框架（如Halfin-Whitt或重交通框架）更适合区分不同负载均衡策略？
• RQ4 在NDS框架下，JSQ与集中式队列化在平均响应时间上的确切性能差距是多少？
• RQ5 空闲优先一（I1F）策略在平稳分布与系统性能方面，相较于JSQ及其他低信息量策略表现如何？

主要发现

• 在NDS框架下，JSQ的平均响应时间最多比集中式 $M/M/k$ 队列高15%，量化了无法实现任务池化或任务迁移的代价。
• 空闲优先一（I1F）策略在渐近意义上实现了与JSQ相同的平稳分布，意味着其平均响应时间完全相同，尽管其通信开销显著低于“双选择法”（Power-of-2-choices）。
• NDS框架能够清晰区分不同负载均衡策略：相比之下，Halfin-Whitt与重交通框架中，JSQ与集中式队列化无法区分。
• JSQ在NDS框架下的扩散过程的平稳分布通过特定漂移函数的朗之万扩散过程表征，其不变测度被显式推导得出。
• 性能排序 $\pi_{CQ} \leq_{st} \pi_{JSQ} =_{st} \pi_{I1F} \leq_{st} \pi_{IQF}$ 成立，源于漂移项的随机优势，证实了各策略的相对性能。
• 分析结果表明，空闲队列优先（IQF）策略的平均响应时间可能比集中式队列化高出最多100%，凸显了对更精细低开销替代方案（如I1F）的迫切需求。