[论文解读] An online learning approach to dynamic pricing and capacity sizing in service systems

Xinyun Chen, Yunan Liu+1 more|arXiv (Cornell University)|Sep 7, 2020

Advanced Bandit Algorithms Research参考文献 24被引用 5

一句话总结

该论文提出 GOLiQ，一种基于梯度的在线学习框架，用于 GI/GI/1 服务系统中的动态定价与容量配置，无需依赖重交通近似。通过利用到达、等待时间及服务器忙碌时间的实时数据，迭代更新定价与人员配置策略，GOLiQ 实现了对数 regret，确保快速收敛至最优利润，且在不同规模的系统中均保持良好性能。

ABSTRACT

We study a dynamic pricing and capacity sizing problem in a $GI/GI/1$ queue, where the service provider's objective is to obtain the optimal service fee $p$ and service capacity $μ$ so as to maximize the cumulative expected profit (the service revenue minus the staffing cost and delay penalty). Due to the complex nature of the queueing dynamics, such a problem has no analytic solution so that previous research often resorts to heavy-traffic analysis where both the arrival rate and service rate are sent to infinity. In this work we propose an online learning framework designed for solving this problem which does not require the system's scale to increase. Our framework is dubbed Gradient-based Online Learning in Queue (GOLiQ). GOLiQ organizes the time horizon into successive operational cycles and prescribes an efficient procedure to obtain improved pricing and staffing policies in each cycle using data collected in previous cycles. Data here include the number of customer arrivals, waiting times, and the server's busy times. The ingenuity of this approach lies in its online nature, which allows the service provider do better by interacting with the environment. Effectiveness of GOLiQ is substantiated by (i) theoretical results including the algorithm convergence and regret analysis (with a logarithmic regret bound), and (ii) engineering confirmation via simulation experiments of a variety of representative $GI/GI/1$ queues.

研究动机与目标

• 解决在由于复杂排队动态导致解析解难以求解的 GI/GI/1 队列中，优化动态定价与人员配置的挑战。
• 开发一种可扩展的、非渐近的方法，不依赖重交通近似，后者在小规模系统中精度下降。
• 使服务提供商能够通过与环境的实时交互，仅使用可观测数据，学习最优定价与容量策略。
• 在一般服务与到达分布下，为所提出的在线学习算法建立理论收敛性与 regret 边界。
• 通过在多种代表性 GI/GI/1 排队系统中进行模拟实验，验证该框架的有效性。

提出的方法

• 系统在连续的运行周期中运作，定价与人员配置决策在每个周期开始时基于历史数据进行更新。
• 利用前一周期中观测到的数据（客户到达、等待时间及服务器忙碌时间）构建梯度估计量 $ H_{k-1} $。
• 通过 $ (\mu_k, p_k) \leftarrow (\mu_{k-1}, p_{k-1}) + \eta_{k-1} H_{k-1} $ 更新决策，采用递减步长 $ \eta_k $。
• 该框架基于在线凸优化，理论保证在较弱的分布假设下实现收敛与 regret 控制。
• 采用预热阶段以减少梯度估计中的偏差，周期长度 $ D_k $ 选择为 $ \lceil 4\log(k)/\min(\theta,\gamma) \rceil $。
• Regret 定义为相对于最优策略的累积损失，证明在光滑性与轻尾假设下，其 regret 边界为对数形式。

实验结果

研究问题

• RQ1 在线学习框架能否在不依赖重交通近似的情况下，实现在 GI/GI/1 队列中的近似最优定价与人员配置决策？
• RQ2 此类框架收敛至最优策略的速度如何？其理论 regret 边界是什么？
• RQ3 该算法能否在不同系统规模下保持性能，包括重交通近似失效的小规模系统？
• RQ4 哪些数据输入足以实现有效的策略学习？如何从实时排队观测中准确估计梯度？
• RQ5 步长与预热周期的选择如何影响收敛性与 regret 表现？

主要发现

• GOLiQ 实现了对数 regret 边界，意味着相对于最优策略的累积损失随时间缓慢增长，确保快速学习。
• 随着周期数的增加，该算法以概率 1 收敛至最优定价与人员配置策略 $ (\mu^*, p^*) $。
• 在需求与成本函数满足温和正则性条件时，regret 边界为 $ O(\log L) $，其中 $ L $ 为周期数。
• 该框架在不同系统规模下均表现出鲁棒性，包括重交通近似不准确的小规模系统。
• 模拟结果证实，GOLiQ 在多种具有通用到达间隔与服务时间分布的代表性 GI/GI/1 队列中均表现有效。
• 在模型假设下，梯度估计量 $ H_k $ 被证明是一致且无偏的，从而支持可靠策略更新。