[论文解读] Flexible Queueing Architectures

John N. Tsitsiklis, Kuang Xu|arXiv (Cornell University)|May 28, 2015

Interconnection Networks and Systems参考文献 21被引用 5

一句话总结

该论文提出了一种基于扩展图的灵活排队架构，即使在服务器灵活性有限（dₙ ≪ n）的情况下，也能同时实现较大的容量区域和渐近趋于零的排队延迟。通过在扩展图上使用基于虚拟队列的调度策略，系统在所有到达率处于最优容量区域的常数倍近似范围内的条件下，保持稳定并实现低延迟，前提是 dₙ ≫ ln n。

ABSTRACT

We study a multi-server model with $n$ flexible servers and $n$ queues, connected through a bipartite graph, where the level of flexibility is captured by the graph's average degree, $d_n$. Applications in content replication in data centers, skill-based routing in call centers, and flexible supply chains are among our main motivations. We focus on the scaling regime where the system size $n$ tends to infinity, while the overall traffic intensity stays fixed. We show that a large capacity region and an asymptotically vanishing queueing delay are simultaneously achievable even under limited flexibility ($d_n \ll n$). Our main results demonstrate that, when $d_n\gg \ln n$, a family of expander-graph-based flexibility architectures has a capacity region that is within a constant factor of the maximum possible, while simultaneously ensuring a diminishing queueing delay for all arrival rate vectors in the capacity region. Our analysis is centered around a new class of virtual-queue-based scheduling policies that rely on dynamically constructed job-to-server assignments on the connectivity graph. For comparison, we also analyze a natural family of modular architectures, which is simpler but has provably weaker performance.

研究动机与目标

• 研究在多服务器排队系统中灵活性受限时，是否能够同时实现大容量区域和渐近趋于零的排队延迟。
• 设计一种架构和调度策略，即使每个服务器仅连接到少量队列（dₙ ≪ n）时，也能实现接近最优的性能。
• 在不同到达率向量下，比较基于扩展图的架构与更简单的模块化设计在稳定性和延迟方面的性能。
• 在系统规模 n → ∞ 的渐近范围内，为灵活排队网络建立关于延迟和容量区域的理论保证。

提出的方法

• 作者将系统建模为连接 n 个服务器与 n 个队列的二分图，灵活性由平均度 dₙ 定义。
• 他们提出一种基于虚拟队列的调度策略，根据实时队列长度和连接关系动态分配任务到服务器。
• 分析依赖于扩展图，其确保了强连通性和均匀扩展特性，这对性能保证至关重要。
• 通过随机耦合和李雅普诺夫漂移论证推导出排队延迟的界，表明 E[W] = O(ln n / dₙ)。
• 通过流体极限和扩散极限分析容量区域，证明扩展图架构可实现接近最大可能容量区域的区域。
• 与使用贪心启发式方法的模块化架构进行比较，表明尽管实现更简单，但其理论保证更弱。

实验结果

研究问题

• RQ1 当灵活性受限（dₙ ≪ n）时，能否同时实现大容量区域和渐近趋于零的排队延迟？
• RQ2 为实现容量区域和延迟方面的近似最优性能，所需的最小平均度 dₙ 是多少？
• RQ3 在相同的灵活性约束下，基于扩展图的架构与模块化架构的性能如何比较？
• RQ4 更简单的策略（如贪心调度）能否实现类似的延迟和稳定性理论保证？
• RQ5 在灵活排队系统中，架构复杂性与性能之间的根本权衡是什么？

主要发现

• 当 dₙ ≫ ln n 时，基于扩展图的架构可实现容量区域，其大小在最大可能容量区域的常数倍范围内。
• 所有稳定到达率向量的期望排队延迟为 O(ln n / dₙ)，当 n → ∞ 且 dₙ ≫ ln n 时，该延迟趋于零。
• 基于虚拟队列的调度策略确保了在容量区域内的所有到达率向量下均保持稳定和低延迟，即使在灵活性有限的情况下亦然。
• 相比之下，模块化架构——尽管更简单——由于连通性差，即使在 max λᵢ 为常数时，也无法稳定许多到达率向量。
• 仿真结果表明，延迟对作业大小分布的敏感性较低，在服务时间呈高方差对数正态分布时，延迟仍保持较低水平。
• 结果表明，基于扩展图的设计在灵活性受限条件下，对容量与延迟的平衡具有渐近最优性。