[论文解读] Blind Dynamic Resource Allocation in Closed Networks via Mirror Backpressure

Yash Kanoria, Pengyu Qian|arXiv (Cornell University)|Mar 7, 2019

Transportation and Mobility Innovations参考文献 55被引用 13

一句话总结

本文提出镜像反压（MBP），一种针对具有有限供应单元的闭合排队网络的盲动态资源分配策略，通过使用感知拥塞的评分函数来指导准入与分配决策，而无需了解需求到达率。MBP策略实现了近似最优性能，相对于已知真实速率的最优策略，每位顾客的收益损失最多为 $O\left(\frac{K}{T} + \frac{1}{K} + \sqrt{\eta K}\right)$，且该性能保证在有限的 $K$ 和 $T$ 下成立。

ABSTRACT

We study the problem of maximizing payoff generated over a period of time in a general class of closed queueing networks with a finite, fixed number of supply units which circulate in the system. Demand arrives stochastically, and serving a demand unit (customer) causes a supply unit to relocate from the ``origin'' to the ``destination'' of the customer. The key challenge is to manage the distribution of supply in the network. We consider general controls including customer entry control, pricing, and assignment. Motivating applications include shared transportation platforms and scrip systems. Inspired by the mirror descent algorithm for optimization and the backpressure policy for network control, we introduce a rich family of \emph{Mirror Backpressure} (MBP) control policies. The MBP policies are simple and practical, and crucially do not need any statistical knowledge of the demand (customer) arrival rates (these rates are permitted to vary in time). Under mild conditions, we propose MBP policies that are provably near optimal. Specifically, our policies lose at most $O(\frac{K}{T}+\frac{1}{K} + \sqrt{ηK})$ payoff per customer relative to the optimal policy that knows the demand arrival rates, where $K$ is the number of supply units, $T$ is the total number of customers over the time horizon, and $η$ is the demand process' average rate of change per customer arrival. An adaptation of MBP is found to perform well in numerical experiments based on data from ride-hailing.

研究动机与目标

• 解决闭合排队网络中资源动态分配的挑战，其中供应单元循环流动，且需求以未知且时变的速率随机到达。
• 克服现有策略依赖完整需求到达率知识或假设参数恒定的局限性。
• 设计一种实用的、与状态无关的控制策略，在不掌握需求过程统计特性的情况下仍保持强性能保证。
• 将框架扩展至包含动态定价与灵活分配，展示其鲁棒性与适应性。
• 提供非渐近性能边界，适用于瞬态与稳态两种情形，可应用于现实世界系统如网约车平台。

提出的方法

• 提出一种镜像反压（MBP）策略，根据评分决定是否接纳需求单元：$w_{jk} + f(\bar{q}_j[t]) - f(\bar{q}_k[t]) \geq 0$，其中 $f$ 为拥塞函数。
• 采用特定的拥塞函数 $f(\bar{q}_j) = -\sqrt{m} \cdot \bar{q}_j^{-1/2}$，以保护接近空闲的队列中的供应，并鼓励长队列的使用。
• 将归一化的队列长度 $\bar{\mathbf{q}}[t]$ 视为对偶变量，并将MBP解释为在静态规划问题的部分对偶问题上执行随机镜像下降。
• 通过使用由拥塞函数 $\mathbf{f}(\bar{\mathbf{q}})$ 定义的非线性、可逆镜像映射，将标准次梯度下降的反压推广为镜像下降。
• 通过仅依赖局部队列状态和预设函数 $f$，确保策略保持简单且可实现，无需了解到达率。
• 通过将策略的收益损失与需求过程的变化率 ($\eta$)、系统规模 ($K$) 和时间范围 ($T$) 相关联，建立理论性能保证。

实验结果

研究问题

• RQ1 是否存在一种控制策略，可在未知时变需求到达率的情况下，在闭合排队网络中实现近似最优性能？
• RQ2 与已知真实需求速率的最优策略相比，盲策略的性能退化程度如何，且该差距是否可被界定？
• RQ3 能否利用镜像下降设计一种动态控制策略，以适应不断变化的网络条件，同时保持强理论保证？
• RQ4 网络连通性与供应分布对盲分配策略性能有何影响？
• RQ5 拥塞函数的选择如何影响动态系统中供应保护与利用率之间的权衡？

主要发现

• MBP策略相对于已知需求速率最优策略的收益损失，每位顾客最多为 $O\left(\frac{K}{T} + \frac{1}{K} + \sqrt{\eta K}\right)$。
• 性能保证为非渐近形式，适用于有限的 $K$ 和 $T$，涵盖瞬态与稳态行为。
• 即使需求到达率随时间变化，该策略仍可证明为近似最优，误差项取决于需求过程的平均变化率 $\eta$。
• MBP策略对时变需求具有鲁棒性，避免了贪婪策略与状态无关策略所面临的 $\Omega(1)$ 最优性差距。
• 基于真实网约车数据的数值实验表明，MBP策略在实践中表现良好，验证了理论发现。
• MBP策略通过嵌入镜像下降，扩展了反压机制，使策略能通过灵活的拥塞函数更好地适应状态空间的几何结构。