[论文解读] Decentralized Learning in Online Queuing Systems

Flore Sentenac, Étienne Boursier+1 more|arXiv (Cornell University)|Jun 8, 2021

Age of Information Optimization参考文献 33被引用 6

一句话总结

该论文提出了ADeQuA，这是首个针对在线排队系统、在服务器速率与到达速率之比超过1时能保证系统稳定的去中心化学习算法，无需通信即可实现集中式水平的性能。它通过同步估计系统参数和随机支配关系，确保在最小合作条件下的队列长度有界，克服了无遗憾策略和策略遗憾策略的局限性——前者要求比率高于2，后者要求比率高于e/(e−1)。

ABSTRACT

Motivated by packet routing in computer networks, online queuing systems are composed of queues receiving packets at different rates. Repeatedly, they send packets to servers, each of them treating only at most one packet at a time. In the centralized case, the number of accumulated packets remains bounded (i.e., the system is extit{stable}) as long as the ratio between service rates and arrival rates is larger than $1$. In the decentralized case, individual no-regret strategies ensures stability when this ratio is larger than $2$. Yet, myopically minimizing regret disregards the long term effects due to the carryover of packets to further rounds. On the other hand, minimizing long term costs leads to stable Nash equilibria as soon as the ratio exceeds $\frac{e}{e-1}$. Stability with decentralized learning strategies with a ratio below $2$ was a major remaining question. We first argue that for ratios up to $2$, cooperation is required for stability of learning strategies, as selfish minimization of policy regret, a extit{patient} notion of regret, might indeed still be unstable in this case. We therefore consider cooperative queues and propose the first learning decentralized algorithm guaranteeing stability of the system as long as the ratio of rates is larger than $1$, thus reaching performances comparable to centralized strategies.

研究动机与目标

• 为解决在服务器-到达速率比低于2的去中心化在线排队系统中实现系统稳定性的开放问题。
• 证明当速率比低于2时，即使在耐心遗憾最小化条件下，协作也是实现稳定性的必要条件。
• 设计并分析一种去中心化学习算法，确保在速率比大于1时实现强稳定性。
• 为所提算法下的队列长度矩提供理论边界。
• 通过实证比较验证协作式学习方法相较于标准无遗憾策略的优越性。

提出的方法

• 提出ADeQuA，一种去中心化算法，使队列通过无直接通信的同步轮次估计系统参数（到达率与服务率）。
• 使用停止时间τ来限制准确参数估计所需的时间，确保可靠决策。
• 采用随机支配论证，表明队列长度被吸收在0处的偏随机游走所随机支配。
• 对停止时间τ和随机游走应用矩界，推导出队列长度矩的多项式边界。
• 引入一种新颖的分析框架，结合集中不等式与耦合论证，以控制队列长度的增长。
• 通过定理5建立理论保证，表明队列长度的r阶矩被系统参数的多项式所有界。

实验结果

研究问题

• RQ1 当服务器-到达速率比低于2时，去中心化学习策略是否能在队列间无通信的情况下实现系统稳定性？
• RQ2 当速率比低于2时，即使在耐心遗憾最小化条件下，去中心化排队系统中协作是否为稳定性的必要条件？
• RQ3 能否设计一种去中心化算法，在速率比任意接近1时仍能保证强稳定性（队列长度有界）？
• RQ4 ADeQuA在稳定性与队列长度增长方面相较于标准无遗憾策略和策略遗憾策略表现如何？
• RQ5 所提算法下队列长度矩的理论边界是什么？

主要发现

• ADeQuA确保了强稳定性，即在服务器总速率与到达总速率之比超过1的任何系统中，队列长度均有界。
• 队列长度的r阶矩由系统参数的多项式有界，具体为O(KN (N^{5/2}K^{5/2}2^{5K^2}/(min(1,Kμ̄)λ̲Δ^5)^{5/4})^r)，其中K为队列数，N为服务器数。
• 参数估计的停止时间τ具有有限矩，且E[τ^r]由类似多项式表达式有界。
• 即使在策略遗憾最小化下，当速率比低于2时也无法保证稳定性，表明在此参数范围内协作至关重要。
• 实证比较证实ADeQuA在稳定性与收敛性方面优于无遗憾策略，尤其在低速率场景下表现更优。
• 分析表明，队列长度被吸收在0处的偏随机游走所随机支配，足以在ADeQuA下控制队列长度的增长。