[论文解读] Algorithms with logarithmic or sublinear regret for constrained contextual bandits

Huasen Wu, R. Srikant+2 more|arXiv (Cornell University)|Dec 7, 2015

Advanced Bandit Algorithms Research参考文献 25被引用 23

一句话总结

本文提出 UCB-ALP，一种用于具有时间和预算约束的约束性上下文Bandits的新算法，结合自适应线性规划与上置信度界探索。该算法在已知和未知上下文分布设置下均实现了对数 regret，这是该问题类别中的首次此类结果。

ABSTRACT

We study contextual bandits with budget and time constraints, referred to as constrained contextual bandits. The time and budget constraints significantly complicate the exploration and exploitation tradeoff because they introduce complex coupling among contexts over time. To gain insight, we first study unit-cost systems with known context distribution. When the expected rewards are known, we develop an approximation of the oracle, referred to Adaptive-Linear-Programming (ALP), which achieves near-optimality and only requires the ordering of expected rewards. With these highly desirable features, we then combine ALP with the upper-confidence-bound (UCB) method in the general case where the expected rewards are unknown a priori. We show that the proposed UCB-ALP algorithm achieves logarithmic regret except for certain boundary cases. Further, we design algorithms and obtain similar regret bounds for more general systems with unknown context distribution and heterogeneous costs. To the best of our knowledge, this is the first work that shows how to achieve logarithmic regret in constrained contextual bandits. Moreover, this work also sheds light on the study of computationally efficient algorithms for general constrained contextual bandits.

研究动机与目标

• 解决因时间耦合而使探索-利用权衡复杂化的上下文Bandits问题的时间与预算约束挑战。
• 设计一种高效算法，在已知期望奖励时实现近似最优性能，仅通过自适应线性规划（ALP）的奖励排序实现。
• 通过将 ALP 方法与 UCB 方法结合，将 ALP 扩展至未知奖励设置，确保一般情况下的对数 regret。
• 将框架推广至未知上下文分布和异质成本的系统，同时保持强 regret 边界。
• 首次为约束性上下文Bandits提供对数 regret 的理论保证，推动计算高效算法设计的发展。

提出的方法

• 引入自适应线性规划（ALP）作为最优策略的近似，仅依赖于期望奖励的排序即可实现近似最优性能。
• 将 ALP 与 UCB 方法结合，以处理未知的期望奖励，实现探索的同时保持 regret 保证。
• 设计 UCB-ALP 算法，在时间和预算约束下动态平衡探索与利用。
• 通过调整 ALP 公式以考虑不同上下文成本，将框架扩展至异质成本系统。
• 使用置信区间指导动作选择，确保次优动作仅被探索对数次。
• 通过分析上下文序列与随时间推移的约束违反之间的耦合，证明 regret 边界。

实验结果

研究问题

• RQ1 尽管存在复杂的时间耦合，是否能在具有时间和预算约束的上下文Bandits中实现对数 regret？
• RQ2 当期望奖励未知时，如何设计一种高效算法，同时仍保持强 regret 性能？
• RQ3 ALP 近似方法在异质成本和未知上下文分布系统中可扩展到何种程度？
• RQ4 约束耦合对上下文Bandits中探索-利用权衡有何影响？
• RQ5 能否开发一种计算高效的算法，使一般约束性上下文Bandits问题实现对数 regret？

主要发现

• UCB-ALP 算法在具有已知上下文分布和已知期望奖励的约束性上下文Bandits中实现了对数 regret。
• ALP 方法仅通过期望奖励的排序即可实现近似最优性能，显著降低计算复杂度。
• 所提出的框架可推广至未知上下文分布和异质成本的系统，同时保持对数 regret 边界。
• 本工作首次为约束性上下文Bandits设置提供了对数 regret 的理论保证。
• 结果表明，即使在复杂的耦合约束下，仍可实现计算高效且具有强 regret 性能的算法。
• 存在对数 regret 不成立的边界情况，但这些情况已被明确表征并从主要 regret 分析中排除。