[论文解读] Resourceful Contextual Bandits

Ashwinkumar Badanidiyuru, John Langford+1 more|arXiv (Cornell University)|Feb 27, 2014

Advanced Bandit Algorithms Research参考文献 25被引用 37

一句话总结

本文提出了首个针对一般资源约束（超越时间）的上下文Bandits算法，相较于平凡地简化为非上下文设置，该算法在遗憾保证方面实现了改进。通过引入一种具有理论保证的新颖资源感知探索-利用策略，该算法在上下文Bandits和带背包的Bandits（BwK）中均实现了近乎最优的统计性能。

ABSTRACT

We study contextual bandits with ancillary constraints on resources, which are common in real-world applications such as choosing ads or dynamic pricing of items. We design the first algorithm for solving these problems that handles constrained resources other than time, and improves over a trivial reduction to the non-contextual case. We consider very general settings for both contextual bandits (arbitrary policy sets, e.g. Dudik et al. (UAI'11)) and bandits with resource constraints (bandits with knapsacks, Badanidiyuru et al. (FOCS'13)), and prove a regret guarantee with near-optimal statistical properties.

研究动机与目标

• 解决缺乏适用于非时间资源约束（如预算或库存限制）的上下文Bandits算法的问题。
• 克服将问题简单化为非上下文Bandits所带来的局限性，后者通常导致遗憾界次优。
• 提供一个统一框架，以处理任意策略集合和上下文Bandits中的策略剔除。
• 在一般设置下，实现上下文Bandits和带背包Bandits（BwK）的近乎最优遗憾保证。
• 支持实际应用，如具有硬性资源限制的动态定价和广告分配。

提出的方法

• 设计一种资源感知的上下文Bandits算法，动态平衡探索与利用，同时遵守资源预算。
• 提出一种新颖的遗憾分析框架，同时考虑上下文反馈和资源消耗。
• 采用基于离散化的方法，以处理动态定价设置中连续或复杂动作空间的问题。
• 引入策略剔除机制，基于观测到的奖励和资源使用情况剔除次优动作。
• 利用对偶优化方法，在满足资源约束的同时最小化遗憾。
• 证明理论遗憾界，其近乎最优，并随动作数量和资源约束的增加而平滑扩展。

实验结果

研究问题

• RQ1 我们能否设计一种能够处理超越时间的通用资源约束的上下文Bandits算法？
• RQ2 如何在遵守资源预算的前提下，实现与非上下文Bandits相竞争的遗憾界？
• RQ3 上下文Bandits在资源约束下的理论性能极限是什么？我们能否实现近乎最优？
• RQ4 离散化如何影响在预算约束下动态定价中上下文Bandits的性能？
• RQ5 所提方法能否应用于现实世界的应用，如具有库存限制的广告分配和动态定价？

主要发现

• 所提算法在上下文Bandits和带背包Bandits（BwK）框架中均实现了近乎最优的遗憾界。
• 与平凡地简化为非上下文Bandits相比，该算法通过避免在资源约束下通常出现的遗憾退化，实现了性能提升。
• 针对离散化的上下文动态定价，推导出一个推论，表明该方法在预算约束下仍能保持近乎最优的遗憾。
• 已证明任意策略集合和策略剔除的理论保证，展示了在多样化设置下的鲁棒性。
• 对定理 LABEL:thm:discretization 的更正以及对相关工作的更新讨论，增强了结果的有效性和适用范围。