[论文解读] Approximate optimality with bounded regret in dynamic matching models

Ana Bušić, Sean Meyn|arXiv (Cornell University)|Nov 4, 2014

Advanced Queuing Theory Analysis参考文献 13被引用 10

一句话总结

该论文提出了一种针对具有随机到达的动态二分图匹配系统的新型匹配策略，利用工作量松弛框架推导出一种闭式策略，即使在系统接近容量时也能实现相对于最优平均成本的有界遗憾。该方法结合库存理论与近似动态规划，确保在系统负载缩放下仍具有渐近最优性及性能保证。

ABSTRACT

We consider a discrete-time bipartite matching model with random arrivals of units of supply and demand that can wait in queues located at the nodes in the network. A control policy determines which are matched at each time. The focus is on the infinite-horizon average-cost optimal control problem. A relaxation of the stochastic control problem is proposed, which is found to be a special case of an inventory model, as treated in the classical theory of Clark and Scarf. The optimal policy for the relaxation admits a closed-form expression. Based on the policy for this relaxation, a new matching policy is proposed. For a parameterized family of models in which the network load approaches capacity, this policy is shown to be approximately optimal, with bounded regret, even though the average cost grows without bound.

研究动机与目标

• 为随机、时变到达的动态二分图匹配系统设计一种具有可证明良好性能的匹配策略。
• 解决具有整数缓冲约束的随机匹配模型中无限时域平均成本最优控制的挑战。
• 设计一种策略，即使在系统负载接近容量、平均成本发散时，也能相对于最优成本保持有界遗憾。
• 利用松弛技术——特别是工作量和凸松弛——推导最优值函数的可处理近似。
• 通过Clark和Scarf的框架建立动态匹配与经典库存模型之间的联系，从而实现闭式解。

提出的方法

• 对原始随机控制问题进行工作量松弛，将匹配模型转化为具有独立同分布增量的一维受控随机游走。
• 利用松弛问题的最优策略作为基础，构建一个实值近似值函数 $ h $，将其解释为真实值函数的替代品。
• 应用 $ h $-MaxWeight 策略框架，基于近似值函数 $ h $ 定义一种新的匹配策略，确保状态相关的匹配决策。
• 采用几何松弛与流修改技术调整网络中的匹配速率，通过基于路径的扰动提升稳定性和性能。
• 引入一种随机化策略，结合多种匹配路径并采用概率选择规则，确保在扰动下仍保持可行性与性能。
• 使用非线性规划计算松弛模型的有效成本函数 $ \bar{c} $，该函数作为真实最优平均成本的下界 $ \widehat{\eta}^* $。

实验结果

研究问题

• RQ1 能否设计一种匹配策略，使得在系统负载接近容量时，相对于最优平均成本的遗憾保持有界？
• RQ2 如何将库存理论中的松弛技术适配用于推导随机匹配控制问题的近似值函数？
• RQ3 在高负载环境下，所提策略与真实最优策略之间的性能差距（遗憾）是多少？
• RQ4 能否从松弛问题中推导出闭式策略，使其在平均成本方面表现出渐近最优行为？
• RQ5 匹配网络结构与到达过程如何影响所提策略的稳定性和性能？

主要发现

• 所提策略实现了有界遗憾：$ \eta \leq \widehat{\eta}^* + O(1) $，其中 $ \widehat{\eta}^* $ 为松弛模型的最优成本，$ O(1) $ 与负载参数 $ \delta $ 无关。
• 当 $ \delta \downarrow 0 $ 时，最优成本 $ \widehat{\eta}^* $ 以 $ 1/\delta $ 的速率增长，但遗憾仍保持一致有界。
• 工作量松弛模型为一维受控随机游走，其动态为 $ \widehat{W}(t+1) = \widehat{W}(t) - \delta + \hat{I}(t) + \Delta(t+1) $，其中 $ \Delta $ 为均值为零的独立同分布增量。
• 松弛问题的最优策略具有闭式表达，从而可实现对近似值函数 $ h $ 的可处理构造。
• 该方法成功将 $ h $-MaxWeight 策略推广至动态匹配，其性能保证通过几何与基于流的扰动论证得出。
• 理论分析证实，经修改的随机化策略在小扰动下仍保持稳定与性能，正数 $ \varepsilon_0 $ 与 $ \varepsilon_0' $ 确保了证明框架中的可行性。