[论文解读] Distributed Dispatching in the Parallel Server Model

Guy Goren, Shay Vargaftik+1 more|arXiv (Cornell University)|Jan 1, 2020

Cloud Computing and Resource Management被引用 1

一句话总结

本文提出了一种新型的多调度器并行服务器系统负载均衡策略——潮汐水填充（Tidal Water Filling, TWF），该策略显式考虑了其他调度器的存在，以避免群体行为。通过采用带时间戳的分布式通信机制，获取完整或部分队列长度信息，TWF显著降低了响应时间，尤其是尾部延迟，其性能优于现有的LSQ和双选择法等策略，即使在高负载下也表现优异。

ABSTRACT

With the rapid increase in the size and volume of cloud services and data centers, architectures with multiple job dispatchers are quickly becoming the norm. Load balancing is a key element of such systems. Nevertheless, current solutions to load balancing in such systems admit a paradoxical behavior in which more accurate information regarding server queue lengths degrades performance due to herding and detrimental incast effects. Indeed, both in theory and in practice, there is a common doubt regarding the value of information in the context of multi-dispatcher load balancing. As a result, both researchers and system designers resort to more straightforward solutions, such as the power-of-two-choices to avoid worst-case scenarios, potentially sacrificing overall resource utilization and system performance. A principal focus of our investigation concerns the value of information about queue lengths in the multi-dispatcher setting. We argue that, at its core, load balancing with multiple dispatchers is a distributed computing task. In that light, we propose a new job dispatching approach, called Tidal Water Filling, which addresses the distributed nature of the system. Specifically, by incorporating the existence of other dispatchers into the decision-making process, our protocols outperform previous solutions in many scenarios. In particular, when the dispatchers have complete and accurate information regarding the server queue lengths, our policies significantly outperform all existing solutions.

研究动机与目标

• 解决多调度器负载均衡中的悖论问题，即准确的队列长度信息因引发群体行为而导致性能下降。
• 设计一种能有效利用分布式信息的负载均衡策略，同时避免由协调带来的性能瓶颈。
• 证明当实现有效协调时，对服务器队列状态的完整信息可显著提升系统性能。
• 探索在通信成本受限的实际系统中，如何高效利用部分或稀疏信息。

提出的方法

• 提出潮汐水填充（TWF）策略，将调度器建模为基于共享服务器队列状态知识联合优化的机制。
• 引入局部uTWF（L-uTWF）和uTWFts，其中调度器与服务器维护带时间戳的本地队列信息数组。
• 利用时间戳和数组合并技术，在最小通信开销下保持调度器与服务器间队列长度数据的实时一致性。
• 采用分布式通信协议，在连接建立时合并队列状态信息，实现可扩展且及时的更新。
• 在高负载（ρ = 0.99）条件下，使用响应时间的CCDF和尾部延迟指标评估性能。
• 将TWF变体与最先进的策略（如LSQ-Sample和JSQ(d)）进行比较，调整信息参数η。

实验结果

研究问题

• RQ1 在多调度器系统中，准确的队列长度信息是否可能因群体行为而降低负载均衡性能？
• RQ2 是否存在一种方法，可在不引发协调导致性能损失的前提下，有效利用完整的队列长度信息？
• RQ3 在部分信息环境下，TWF的性能如何随信息可用性（η）的增加而变化？
• RQ4 在通信成本受限条件下，基于分布式、带时间戳的通信协议能否提升负载均衡性能？
• RQ5 与LSQ和双选择法等现有方法相比，基于TWF的策略在尾部延迟和系统利用率方面表现如何？

主要发现

• 当调度器拥有完整的服务器队列长度信息时，TWF显著优于所有已知的负载均衡策略。
• 随着信息参数η的增加，响应时间单调改善，表明在正确使用下，更精确的信息可带来更好的性能。
• uTWFts（在调度器和服务器端均维护带时间戳的队列信息）优于L-uTWF和LSQ-Sample，尤其在η值较高时表现更优。
• 在η = 0.1时，L-uTWF已表现出与LSQ-Sample相当的竞争力，表明部分信息即可带来早期收益。
• LSQ-Sample的性能随η增加而下降，因群体行为被放大；而TWF相关策略则保持稳健并持续提升。
• 结果否定了“不准确信息可改善性能”这一反直觉观点，表明通过恰当协调，准确信息可真正发挥优势。