[论文解读] Inventory Balancing with Online Learning

Wang Chi Cheung, Will Ma+2 more|arXiv (Cornell University)|Oct 11, 2018

Advanced Bandit Algorithms Research参考文献 39被引用 7

一句话总结

本文提出库存平衡在线学习（IBOL）算法，以应对在模型不确定性和对抗性客户到达条件下的在线资源分配问题。通过整合面向未来资源预留的库存平衡机制与基于新型懒惰UCB变体的在线学习方法，IBOL在无需历史数据或需求预测的前提下，实现了接近最优的竞争力比率。

ABSTRACT

We study a general problem of allocating limited resources to heterogeneous customers over time under model uncertainty. Each type of customer can be serviced using different actions, each of which stochastically consumes some combination of resources, and returns different rewards for the resources consumed. We consider a general model where the resource consumption distribution associated with each (customer type, action)-combination is not known, but is consistent and can be learned over time. In addition, the sequence of customer types to arrive over time is arbitrary and completely unknown. We overcome both the challenges of model uncertainty and customer heterogeneity by judiciously synthesizing two algorithmic frameworks from the literature: inventory balancing, which "reserves" a portion of each resource for high-reward customer types which could later arrive, and online learning, which shows how to "explore" the resource consumption distributions of each customer type under different actions. We define an auxiliary problem, which allows for existing competitive ratio and regret bounds to be seamlessly integrated. Furthermore, we show that the performance guarantee generated by our framework is tight, that is, we provide an information-theoretic lower bound which shows that both the loss from competitive ratio and the loss for regret are relevant in the combined problem. Finally, we demonstrate the efficacy of our algorithms on a publicly available hotel data set. Our framework is highly practical in that it requires no historical data (no fitted customer choice models, nor forecasting of customer arrival patterns) and can be used to initialize allocation strategies in fast-changing environments.

研究动机与目标

• 解决在模型不确定条件下的在线资源分配问题，其中未来客户类型和资源消耗分布未知且由对手选择。
• 克服未来需求模式未知与客户行为不确定（如点击率、购买概率）的双重挑战。
• 设计一种实用的无数据框架，不依赖历史数据、客户选择模型或到达模式预测。
• 将竞争力比率分析（库存平衡）与后悔最小化（在线学习）整合进统一的算法框架。
• 通过理论边界和在合成数据及真实酒店数据上的实证验证，证明该框架的鲁棒性与最优性。

提出的方法

• 建立一个通用的在线资源分配模型，其中每个客户类型-动作对均引发具有未知分布的随机资源消耗。
• 引入一个辅助问题，将学习与平衡组件解耦，从而实现竞争力比率与后悔边界的有效整合。
• 设计懒惰UCB预言机，作为UCB的变体，减少探索并优先考虑利用，以适应资源稀缺环境。
• 将库存平衡（为高收益未来客户类型预留资源）与在线学习相结合，实现实时估计未知消耗分布。
• 利用竞争力比率分析指导资源预留，通过后悔分析指导探索，确保在不确定性下的性能保障。
• 构建信息论反例，证明该框架在最坏情况下实现了最佳可能的性能保证。

实验结果

研究问题

• RQ1 当未来需求模式与客户行为分布均完全未知时，在线资源分配算法能否实现强性能保证？
• RQ2 如何有效结合库存平衡与在线学习，以应对模型不确定性和对抗性到达？
• RQ3 此类混合算法的理论性能极限是什么？能否证明其最优性？
• RQ4 通过懒惰UCB减少探索在资源受限环境中的性能影响如何？
• RQ5 该框架能否在无需历史数据或预训练模型的前提下应用于现实世界问题？

主要发现

• IBOL算法在一般情况下实现竞争力比率为1/2，当资源容量增大时趋于(1−1/e)，与已知理论极限一致。
• 在具有随机奖励的在线匹配合成实例中，IBOL优于基线方法，在ε=0.01且v₀=40时达到最优性能的98.4%。
• 在真实酒店数据集上，IBOL在不同库存规模下均保持强劲表现，当v₀=100且库存规模为0.5时，性能达到OPT的93.3%。
• 懒惰UCB变体相比标准UCB显著减少了探索，提升了利用效率，从而在低容量设置下改善了性能。
• 在高库存场景中，Conserv-TS基线始终优于Gdy-TS和IB-TS，但IBOL在所有规模下均保持优异表现。
• 基于信息论反例的理论分析证实，该框架的性能保证接近最优，实现了后悔与竞争力比率之间的最佳权衡。