[论文解读] Load Balancing in Large-Scale Systems with Multiple Dispatchers

Mark van der Boor, Sem Borst+1 more|arXiv (Cornell University)|Jun 4, 2017

Advanced Queuing Theory Analysis参考文献 16被引用 5

一句话总结

本文提出了两种针对具有多个调度器的大规模系统中增强的 Join-the-Idle-Queue（JIQ）负载均衡方案：非均匀令牌分配与周期性令牌交换。两种机制在任意次临界总体负载及任意偏斜的调度器工作负载下，均能在大量服务器极限情况下实现零阻塞与零等待时间，即使在基本 JIQ 因负载不平衡而失效时亦如此。

ABSTRACT

Load balancing algorithms play a crucial role in delivering robust application performance in data centers and cloud networks. Recently, strong interest has emerged in Join-the-Idle-Queue (JIQ) algorithms, which rely on tokens issued by idle servers in dispatching tasks and outperform power-of-$d$ policies. Specifically, JIQ strategies involve minimal information exchange, and yet achieve zero blocking and wait in the many-server limit. The latter property prevails in a multiple-dispatcher scenario when the loads are strictly equal among dispatchers. For various reasons it is not uncommon however for skewed load patterns to occur. We leverage product-form representations and fluid limits to establish that the blocking and wait then no longer vanish, even for arbitrarily low overall load. Remarkably, it is the least-loaded dispatcher that throttles tokens and leaves idle servers stranded, thus acting as bottleneck. Motivated by the above issues, we introduce two enhancements of the ordinary JIQ scheme where tokens are either distributed non-uniformly or occasionally exchanged among the various dispatchers. We prove that these extensions can achieve zero blocking and wait in the many-server limit, for any subcritical overall load and arbitrarily skewed load profiles. Extensive simulation experiments demonstrate that the asymptotic results are highly accurate, even for moderately sized systems.

研究动机与目标

• 解决标准 Join-the-Idle-Queue（JIQ）方案在调度器工作负载不对称时，大规模系统中性能下降的问题。
• 识别出最轻载的调度器因限制令牌流而成为瓶颈，导致空闲服务器被搁置，从而产生非零阻塞与等待时间。
• 设计两种可扩展的 JIQ 增强方案，以在任意负载偏斜与次临界系统负载下恢复渐近最优性（零阻塞与零等待）。
• 通过产品形式与流极限分析建立理论保证，确保所提方案适用于真实世界的数据中心与云网络。

提出的方法

• 将阻塞场景建模为闭合的 Jackson 网络，以推导阻塞概率的精确产品形式分布。
• 应用流极限技术分析大量服务器场景下的系统行为，表明性能取决于总负载与最小调度器负载。
• 引入增强方案 1：按调度器负载比例进行非均匀令牌分配，确保令牌在各调度器间可见性均衡。
• 引入增强方案 2：以指数速率在调度器之间周期性交换令牌，实现基于负载感知的令牌再分配。
• 通过渐近分析证明，两种增强方案在服务器数量趋于无穷时，均能实现零阻塞与零等待时间。
• 通过在各种系统规模与负载配置下进行大规模仿真，验证理论结果的正确性。

实验结果

研究问题

• RQ1 为何标准 JIQ 方案在调度器负载偏斜时，即使总体系统负载极低，也无法实现零阻塞与零等待？
• RQ2 为何最轻载的调度器会成为 JIQ 方案中的瓶颈？其对空闲服务器可见性有何影响？
• RQ3 是否可通过调整令牌分配，在任意负载偏斜下恢复大量服务器极限下的零等待时间？
• RQ4 在调度器之间周期性交换令牌是否足以消除任意次临界负载配置下的阻塞与等待？
• RQ5 流极限近似在预测中等规模系统性能时的准确性如何？

主要发现

• 当调度器工作负载偏斜时，即使总体负载极低，标准 JIQ 方案在大量服务器极限下仍无法实现零阻塞与零等待。
• 最轻载的调度器因积累令牌而成为瓶颈，降低重载调度器对空闲服务器的可见性，导致空闲服务器无法被利用。
• 增强方案 1——按调度器负载比例进行非均匀令牌分配——可对任意次临界总体负载与任意负载偏斜实现零阻塞与零等待。
• 增强方案 2——以足够高的频率在调度器之间周期性交换令牌——在任意次临界负载配置下，于大量服务器极限下亦可实现零阻塞与零等待。
• 仿真结果证实，流极限近似即使在中等规模系统（如 N=1000 台服务器）下也具有高度准确性。
• 所提增强方案保持了低通信开销，每项任务仅需常数或可忽略的额外消息，从而维持了原始 JIQ 方案的可扩展性。