[论文解读] Close the Gaps: A Learning-while-Doing Algorithm for a Class of Single-Product Revenue Management Problems

Zizhuo Wang, Shiming Deng+1 more|arXiv (Cornell University)|Jan 24, 2011

Advanced Bandit Algorithms ResearchDecision Sciences参考文献 21被引用 16

一句话总结

本文提出了一种在需求不确定性下针对单产品收益管理的动态‘边做边学’算法，零售商通过在不断缩小的区间内迭代测试价格，实时学习最优价格。该方法实现了 $ O^*(n^{-1/2}) $ 的渐近遗憾，属于最快可能的速率之一，优于非参数与参数化方法，尤其在模型误设情况下表现更优。

ABSTRACT

We consider a retailer selling a single product with limited on-hand inventory over a finite selling season. Customer demand arrives according to a Poisson process, the rate of which is influenced by a single action taken by the retailer (such as price adjustment, sales commission, advertisement intensity, etc.). The relationship between the action and the demand rate is not known in advance. However, the retailer is able to learn the optimal action "on the fly" as she maximizes her total expected revenue based on the observed demand reactions. Using the pricing problem as an example, we propose a dynamic "learning-while-doing" algorithm that only involves function value estimation to achieve a near-optimal performance. Our algorithm employs a series of shrinking price intervals and iteratively tests prices within that interval using a set of carefully chosen parameters. We prove that the convergence rate of our algorithm is among the fastest of all possible algorithms in terms of asymptotic "regret" (the relative loss comparing to the full information optimal solution). Our result closes the performance gaps between parametric and non-parametric learning and between a post-price mechanism and a customer-bidding mechanism. Important managerial insight from this research is that the values of information on both the parametric form of the demand function as well as each customer's exact reservation price are less important than prior literature suggests. Our results also suggest that firms would be better off to perform dynamic learning and action concurrently rather than sequentially.

研究动机与目标

• 解决当需求函数未知且必须实时学习时的收益管理挑战。
• 弥合参数化与非参数化学习方法在收益管理中的性能差距。
• 证明并行学习与行动优于顺序探索-利用策略。
• 量化在参数化需求形式与个体客户保留价格方面信息的价值。
• 开发一种稳健的非参数定价算法，在各类需求函数族中均保持高性能。

提出的方法

• 该算法使用一系列始终以高概率包含最优价格的缩小价格区间。
• 在每个区间内通过精心选择的参数进行迭代价格实验，以平衡探索与利用。
• 仅需函数值估计，避免复杂的导数计算或模型拟合。
• 算法维护一个围绕最优价格的置信区间，并根据观测到的需求响应逐步缩小该区间。
• 推导最坏情况下的遗憾界以证明渐近最优性，表明该算法性能接近最优可能。
• 通过引入结构断裂点的先验知识，将该方法扩展至处理具有拐点的需求函数。

实验结果

研究问题

• RQ1 当需求函数未知时，非参数收益管理的最优学习策略是什么？
• RQ2 与一次性网格学习相比，动态学习算法的遗憾在收敛速率上有何差异？
• RQ3 在非参数设定下，对需求函数参数形式的先验知识有多大的价值？
• RQ4 已知个体客户保留价格与仅观测购买决策相比，其相对优势为何？
• RQ5 能否在单一动态过程中有效结合学习与行动，以实现更优性能？

主要发现

• 所提出的动态定价算法（DPA）实现了 $ O^*(n^{-1/2}) $ 的渐近遗憾，这是所有算法中最快可能的速率之一。
• 在模拟中，DPA 在所有测试的 $ n $ 值下均持续优于 Besbes 和 Zeevi（2013）的非参数策略，遗憾显著更低。
• 参数化策略（P-BZ-L 与 P-BZ-E）仅在真实需求函数与假设形式匹配时表现良好，但在模型误设下无法收敛至零遗憾。
• DPA 的遗憾在双对数坐标系下的斜率约为 -0.5，表明其收敛速率稳定为 $ n^{-1/2} $。
• 即使在最优学习点选择下，随着 $ n $ 增大，参数化策略仍表现逊于 DPA，凸显了模型误设的风险。
• 结果表明，企业应优先采用动态、并行学习与行动的策略，而非顺序学习或依赖参数假设。