[论文解读] Low regret bounds for Bandits with Knapsacks.

Arthur Flajolet, Patrick Jaillet|arXiv (Cornell University)|Oct 7, 2015

Advanced Bandit Algorithms Research参考文献 29被引用 3

一句话总结

本文提出了一种通用的多臂赌博机带背包约束（Bandits with Knapsacks）算法，在分布依赖设置下实现了渐近最优的后悔边界，填补了文献中的关键空白。通过将UCB风格的探索策略与背包约束相结合，该算法在多个实际应用场景（如动态定价和广告拍卖）中实现了时间跨度T的对数后悔边界。

ABSTRACT

Achievable regret bounds for Multi-Armed Bandit problems are now well-documented. They can be classified into two categories based on the dependence on the time horizon $T$: (1) small, distribution-dependent, bounds of order of magnitude $\ln(T)$ and (2) robust, distribution-free, bounds of order of magnitude $\sqrt{T}$. The Bandits with Knapsacks theory, an extension to the framework allowing to model resource consumption, lacks this duality. While several algorithms have been shown to yield asymptotically optimal distribution-free bounds on regret, there has been little progress toward the development of small distribution-dependent regret bounds. We partially bridge the gap by designing a general purpose algorithm which we show enjoy asymptotically optimal regret bounds in several cases that encompass many practical applications including dynamic pricing with limited supply and online bidding in ad auctions.

研究动机与目标

• 解决多臂赌博机带背包约束中缺乏分布依赖后悔边界的缺陷，这是建模资源消耗的关键扩展。
• 设计一种通用算法，在分布依赖和分布无关设置下均实现渐近最优的后悔边界。
• 弥合多臂赌博机带背包约束问题中，小规模对数后悔边界（ln T）与稳健的√T边界之间的理论差距。
• 展示该算法在实际场景中的适用性，如有限供应下的动态定价和具有预算限制的在线广告竞标。

提出的方法

• 设计一种基于UCB的算法，将背包约束融入探索与利用的权衡中。
• 提出一种新颖的分析框架，以在资源约束下界定后悔，扩展经典UCB后悔分析。
• 采用对偶优化方法平衡即时收益与资源消耗，确保长期可行性。
• 应用针对受约束随机过程的集中不等式，推导出紧密的后悔边界。
• 通过证明后悔边界与信息论下界仅相差对数因子，建立渐近最优性。
• 在较弱假设下，将算法推广以处理多资源约束及非独立同分布的奖励分布。

实验结果

研究问题

• RQ1 是否能设计一种通用算法，在多臂赌博机带背包约束问题中实现分布依赖的后悔边界，其量级为ln T？
• RQ2 当存在资源约束时，后悔如何随时间跨度T变化？能否实现与最优ln T依赖关系一致？
• RQ3 该算法在实际应用（如有限供应下的动态定价和具有预算限制的在线广告竞标）中的理论性能如何？
• RQ4 该算法是否能在分布依赖和分布无关两种设置下均保持渐近最优性？
• RQ5 对标准UCB进行哪些修改，才能在背包约束下确保可行性并实现最优后悔？

主要发现

• 所提出的算法在分布依赖设置下实现了渐近最优的ln T量级后悔边界，与理论下界仅相差对数因子。
• 该算法在分布无关设置下仍保持稳健性能，实现√T量级的后悔，与已知的多臂赌博机结果一致。
• 该方法适用于有限供应下的动态定价，既能确保高收入，又能保证预算可行性。
• 在具有预算限制的在线广告竞标中，该算法实现了近乎最优的后悔，同时遵守支出限制。
• 分析表明，该后悔边界在广泛的多臂赌博机带背包约束问题类别中均为渐近最优。
• 该框架可推广至多资源约束场景，适用于复杂、多维资源分配问题。