[论文解读] Designing Low-Complexity Heavy-Traffic Delay-Optimal Load Balancing Schemes: Theory to Algorithms

Xingyu Zhou, Fei Wu+3 more|arXiv (Cornell University)|Oct 12, 2017

Advanced Queuing Theory Analysis参考文献 9被引用 8

一句话总结

本文提出了一套统一的分析框架，用于设计低复杂度、重负载下延迟最优的负载均衡策略。它提出了一种新型基于拉取的策略 Join-Below-Threshold (JBT-d)，该策略可动态调整其调度阈值，在极低的消息开销下实现近乎最优的延迟性能——其性能与 JSQ 相当，同时保持了 JIQ 的简洁性。

ABSTRACT

We establish a unified analytical framework for load balancing systems, which allows us to construct a general class $Π$ of policies that are both throughput optimal and heavy-traffic delay optimal. This general class $Π$ includes as special cases popular policies such as join-shortest-queue and power-of-$d$, but not the join-idle-queue (JIQ) policy. In fact, we show that JIQ, which is not in $Π$, is actually not heavy-traffic delay optimal. Owing to the significant flexibility offered by class $Π$, we are able to design a new policy called join-below-threshold (JBT-d), which maintains the simplicity of pull-based policies such as JIQ, but updates its threshold dynamically. We prove that JBT-$d$ belongs to the class $Π$ when the threshold is picked appropriately and thus it is heavy-traffic delay optimal. Extensive simulations show that the new policy not only has a low complexity in message rates, but also achieves excellent delay performance, comparable to the optimal join-shortest-queue in various system settings.

研究动机与目标

• 解决现有基于拉取的负载均衡策略中缺乏在重负载下延迟最优且复杂度低的策略的问题。
• 阐明为何现有基于拉取的策略（如 JIQ）尽管在中等负载下表现良好，却无法实现重负载下的延迟最优。
• 构建一个通用的分析框架，用于表征一类广泛策略（Π 类）在重负载下具备吞吐量和延迟最优的特性。
• 设计一种新策略 JBT-d，使其在保持基于拉取方案的低消息率和零调度延迟的同时，实现延迟最优。
• 通过大量仿真验证，JBT-d 在多种系统配置和流量模式下均实现了接近最优的延迟性能。

提出的方法

• 推导基于内积的充分条件，用于保证吞吐量和重负载下延迟最优，为 Π 类策略奠定理论基础。
• 采用一种新颖的李雅普诺夫漂移论证方法，证明即使在同质服务器环境下，JIQ 也并非重负载下延迟最优。
• 将 JBT-d 设计为 JIQ 的动态阈值扩展，其中调度器将任务路由至队列长度低于时变阈值的服务器。
• 通过合理选择阈值，确保 JBT-d 属于 Π 类，从而保证其延迟最优性。
• 在多种到达和处理过程（泊松分布、突发性）及系统规模下实现并仿真 JBT-d，以验证其性能与复杂度。
• 在多种负载条件下，对比 JBT-d 与 JSQ、JIQ、power-of-d 和 SQ(d) 策略在响应时间与消息率方面的表现。

实验结果

研究问题

• RQ1 能否设计一种基于拉取的负载均衡策略，在保持低消息开销和零调度延迟的同时，实现重负载下的延迟最优？
• RQ2 为何广泛使用的 JIQ 策略尽管在实际中表现良好，却无法实现重负载下的延迟最优？
• RQ3 何种通用结构条件可确保一种负载均衡策略在吞吐量和重负载下均实现延迟最优？
• RQ4 在基于拉取的策略中，动态阈值机制是否可在不牺牲简洁性的前提下实现延迟最优？
• RQ5 在不同系统负载和流量模式下，所提出的 JBT-d 策略与基于推送的最优策略（如 JSQ 和 power-of-d）相比，性能如何？

主要发现

• 通过一种新颖的李雅普诺夫漂移论证，证明 JIT 并非重负载下延迟最优，即使在同质服务器环境下亦然。
• 所提出的 Π 类包含 JSQ 和 power-of-d 作为特例，但不包含 JIQ，从而证实 JIQ 在重负载下存在固有局限性。
• JBT-d 在所有测试配置下均实现了与 JSQ 相当的延迟性能，包括泊松分布和突发性到达与服务。
• 在高负载下，JBT-d 的消息率保持在每任务 1 条以下（例如在 T=700 时为每任务 0.363 条），远低于 JSQ 的每任务 20 条。
• 在 10 台同质服务器下，JBT-10 在泊松到达和恒定服务时间下，于 T=700 时将平均响应时间降低至 12.96 秒，接近 JSQ 的 9.96 秒。
• 在突发性到达和泊松服务下，JBT-10 在 T=500 时实现 27.8 秒的响应时间，而 JIQ 为 53.78 秒，延迟性能提升达 48%。