[论文解读] Approximation Algorithms for Bayesian Multi-Armed Bandit Problems

Sudipto Guha, Kamesh Munagala|arXiv (Cornell University)|Jun 14, 2013

Advanced Bandit Algorithms Research参考文献 58被引用 9

一句话总结

本文提出了一套统一框架，用于设计具有复杂约束（如度量切换成本、延迟反馈、凹函数奖励以及探索-利用模型）的有限时域贝叶斯多臂赌博机问题的常数因子近似算法，通过构建弱耦合线性规划松弛并设计紧凑的、按序执行的单臂策略，实现接近最优的全局性能。关键贡献是针对切换成本约束下的预算学习问题，提出了一种(3+ε)-近似算法，并可推广至其他具有有界近似比的约束变体。

ABSTRACT

In this paper, we consider several finite-horizon Bayesian multi-armed bandit problems with side constraints which are computationally intractable (NP-Hard) and for which no optimal (or near optimal) algorithms are known to exist with sub-exponential running time. All of these problems violate the standard exchange property, which assumes that the reward from the play of an arm is not contingent upon when the arm is played. Not only are index policies suboptimal in these contexts, there has been little analysis of such policies in these problem settings. We show that if we consider near-optimal policies, in the sense of approximation algorithms, then there exists (near) index policies. Conceptually, if we can find policies that satisfy an approximate version of the exchange property, namely, that the reward from the play of an arm depends on when the arm is played to within a constant factor, then we have an avenue towards solving these problems. However such an approximate version of the idling bandit property does not hold on a per-play basis and are shown to hold in a global sense. Clearly, such a property is not necessarily true of arbitrary single arm policies and finding such single arm policies is nontrivial. We show that by restricting the state spaces of arms we can find single arm policies and that these single arm policies can be combined into global (near) index policies where the approximate version of the exchange property is true in expectation. The number of different bandit problems that can be addressed by this technique already demonstrate its wide applicability.

研究动机与目标

• 解决在度量切换成本、延迟反馈和凹函数奖励等复杂约束下，有限时域贝叶斯多臂赌博机问题缺乏高效近似最优算法的问题。
• 通过开发一种通用近似框架，克服这些变体的难解性（NP难），同时保持多项式时间可计算性。
• 设计可行的全局策略，在标准索引策略因违反交换性质而失效时，仍能实现最优奖励的常数因子近似。
• 将STOC '07、ICALP '09和APPROX '13中先前工作的结果统一到一个具有更广泛应用性的单一、连贯框架中。
• 为在策略设计中使用线性规划松弛提供理论依据，使策略在计算复杂度上与索引策略相当，同时具备可证明的性能保证。

提出的方法

• 构建一个弱耦合线性规划松弛，以捕捉受限赌博机问题的结构，其中变量表示单臂策略，约束确保跨各臂的可行性。
• 限制单个臂的状态空间，以确保松弛问题的多项式时间可解性，从而实现紧凑单臂策略的高效计算。
• 通过一种满足切换成本和时间范围等约束的调度策略，按序执行这些单臂策略，构建全局策略。
• 使用分摊会计论证方法，将全局策略的期望奖励与一个假设的不可行策略（完全执行所有预定动作）进行比较，以界定其性能。
• 利用奖励的鞅性质，证明在时域终点提前终止策略并选择当前臂，其获得的奖励不少于完整执行的奖励，从而为终止策略提供合理性。
• 通过拉格朗日松弛技术及目标函数间隙的界，将线性规划松弛的解与最优解关联，推导出近似保证。

实验结果

研究问题

• RQ1 尽管存在NP难性，我们能否为具有度量切换成本、延迟反馈和凹函数奖励的贝叶斯多臂赌博机问题设计常数因子近似算法？
• RQ2 在交换性质不成立的受限赌博机模型中，该性质在多大程度上可以被近似恢复？
• RQ3 弱耦合线性规划松弛是否可用于设计计算高效、结构上类似索引策略的可行且近似最优的全局策略？
• RQ4 对于具有切换成本约束的预算学习问题，可达到的近似比是多少？该结果如何推广至多个背包类型约束？
• RQ5 该框架能否扩展以处理同时反馈模型或存在较大延迟的情况，其中现有界不够理想？

主要发现

• 所提出的策略Final(λ*)的奖励至少为LPBud/(3+ε)，为具有切换成本约束的预算学习问题提供了(3+ε)-近似。
• 在时间T完全执行当前单臂策略的不可行策略，其期望奖励至少为LPBud/(3+ε)，该值构成可行策略的下界。
• 根据鞅性质，若在时域终点停止当前策略并选择当前臂，其获得的奖励不少于继续执行，从而为终止策略提供理论支持。
• 若单臂策略Q̃i(λ)可被近似至因子α内，则全局策略对具有切换成本的预算学习问题实现了(α+2+ε)-近似。
• 该框架可推广至r个额外的背包类型约束，实现(r+2+ε)-近似，展现出广泛的适用性。
• 松弛与策略构造在计算上高效，所得策略的复杂度与标准索引策略相当，即使在增加约束条件下亦成立。