[论文解读] Asymptotically Optimal Load Balancing in Large-scale Heterogeneous Systems with Multiple Dispatchers

Xingyu Zhou, Ness B. Shroff+1 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Queuing Theory Analysis参考文献 25被引用 4

一句话总结

本文提出了面向大规模异构系统中多个调度器的本地估计驱动（LED）框架，其中调度器使用局部的、可能过时的队列长度估计来调度任务。该工作建立了LED策略在重负载下实现吞吐量最优与延迟最优的充分条件，解决了关于使用延迟信息的延迟最优负载均衡的开放问题，并为异构、多调度器系统设计了新型低开销、延迟最优的调度策略。

ABSTRACT

We consider the load balancing problem in large-scale heterogeneous systems with multiple dispatchers. We introduce a general framework called Local-Estimation-Driven (LED). Under this framework, each dispatcher keeps local (possibly outdated) estimates of queue lengths for all the servers, and the dispatching decision is made purely based on these local estimates. The local estimates are updated via infrequent communications between dispatchers and servers. We derive sufficient conditions for LED policies to achieve throughput optimality and delay optimality in heavy-traffic, respectively. These conditions directly imply delay optimality for many previous local-memory based policies in heavy traffic. Moreover, the results enable us to design new delay optimal policies for heterogeneous systems with multiple dispatchers. Finally, the heavy-traffic delay optimality of the LED framework directly resolves a recent open problem on how to design optimal load balancing schemes using delayed information.

研究动机与目标

• 解决大规模异构系统中多个调度器存在的负载均衡缺乏理论延迟性能保证的问题。
• 设计一种仅使用延迟本地信息的可扩展负载均衡框架，以最小化消息开销。
• 解决在仅能获取过时队列状态信息时，实现重负载下延迟最优的开放问题。
• 推广现有的基于本地内存的策略（如LSQ），并实现新延迟最优策略的系统化设计。
• 为LED框架下吞吐量与延迟最优性提供充分条件。

提出的方法

• 提出本地估计驱动（LED）框架，其中每个调度器维护对服务器队列长度的本地估计，可能为过时信息。
• 通过调度器与服务器之间不频繁的通信来更新本地估计，以最小化消息开销。
• 推导出确保重负载下吞吐量与延迟最优性的更新策略的充分条件。
• 利用状态空间坍缩与李雅普诺夫漂移分析，证明在这些条件下实现重负载下的延迟最优性。
• 推广先前的策略（如LSQ），并证明其满足充分条件，从而继承延迟最优性。
• 运用柯西-施瓦茨不等式与矩有界性论证，界定向稳态时队列向量与不平衡向量乘积的期望。

实验结果

研究问题

• RQ1 能否为具有多个调度器的异构系统中的负载均衡建立延迟性能保证？
• RQ2 仅使用延迟的本地信息，是否可能在重负载下实现延迟最优？
• RQ3 更新策略需满足何种条件，才能在LED框架下同时保证吞吐量与延迟最优？
• RQ4 如何推广现有的基于本地内存的策略，并在LED框架下证明其最优性？
• RQ5 能否系统化地设计出适用于异构、多调度器系统的新型低开销、延迟最优策略？

主要发现

• 在更新策略的温和条件下，LED框架可实现吞吐量最优，确保高服务器利用率。
• 推导出确保重负载下延迟最优性的充分条件，解决了近期关于延迟信息下负载均衡的开放问题。
• 许多先前的基于本地内存的策略（包括LSQ）满足充分条件，因此在重负载下为延迟最优。
• 该框架可设计出具有零调度延迟、低消息开销的新型延迟最优策略，适用于异构系统。
• 通过状态空间坍缩与矩有界性论证，证明了重负载下的延迟最优性，表明当系统负载趋近容量时，关键性能指标收敛于零。
• 该框架提供了一套系统化方法，用于探索负载均衡设计中本地内存使用与通信开销之间的权衡。