[论文解读] Knapsack based Optimal Policies for Budget-Limited Multi-Armed Bandits

Tran-Thanh, Long, Archie C. Chapman+2 more|arXiv (Cornell University)|Apr 9, 2012

Advanced Bandit Algorithms Research参考文献 16被引用 100

一句话总结

本文提出了 KUBE 和分数 KUBE 两种新颖算法，用于解决预算受限的多臂赌博机问题，通过基于背包问题的方法联合优化探索与利用。通过根据上界置信区间和剩余预算动态选择臂，两种算法均实现了对数形式的遗憾边界，其中 KUBE 在多种场景下相比其分数形式最高可降低 40% 的遗憾，同时保持渐近最优的遗憾性能。

ABSTRACT

In budget-limited multi-armed bandit (MAB) problems, the learner's actions are costly and constrained by a fixed budget. Consequently, an optimal exploitation policy may not be to pull the optimal arm repeatedly, as is the case in other variants of MAB, but rather to pull the sequence of different arms that maximises the agent's total reward within the budget. This difference from existing MABs means that new approaches to maximising the total reward are required. Given this, we develop two pulling policies, namely: (i) KUBE; and (ii) fractional KUBE. Whereas the former provides better performance up to 40% in our experimental settings, the latter is computationally less expensive. We also prove logarithmic upper bounds for the regret of both policies, and show that these bounds are asymptotically optimal (i.e. they only differ from the best possible regret by a constant factor).

研究动机与目标

• 解决现有多臂赌博机模型中探索与利用均受固定预算限制的局限性，这一情况在无线传感器网络等能效受限系统中十分常见。
• 克服预算受限的 ε-first 方法效率低下的问题，该方法存在较差的遗憾边界（O(B^{2/3}））且对 ε 选择敏感。
• 提出一个统一框架，实现探索与利用的同步平衡，无需显式划分阶段，从而提升性能与适应性。
• 通过证明所提算法的遗憾与理论最小值仅相差一个常数因子，实现渐近最优的遗憾边界。
• 证明 KUBE（使用按密度排序的贪心背包求解器）在实际中优于其分数松弛形式，尽管计算成本更高。

提出的方法

• 在每个时间步将预算受限的多臂赌博机问题建模为无界背包问题，目标是在剩余预算内选择一组臂，使上界置信区间（UCB）之和最大化。
• 利用 UCB 原理通过基于每条臂采样次数的不确定性估计来平衡探索与利用。
• 在 KUBE 中应用按密度排序的贪心算法求解背包子问题，优先选择单位成本收益比最高且带有置信度奖励的臂。
• 对于分数 KUBE，使用背包问题的分数松弛形式计算松弛解，允许基于分数分配进行概率性臂选择。
• 在每一步中，根据从背包解导出的概率分布采样下一个臂，实现在无固定探索阶段下的连续适应。
• 通过使用集中不等式和背包近似保证，确保理论遗憾边界成立，证明其遗憾为 O(ln B)，且渐近最优。

实验结果

研究问题

• RQ1 能否为预算受限的多臂赌博机设计一种统一的探索-利用策略，以避免 ε-first 方法的性能缺陷？
• RQ2 基于背包问题的臂选择方法是否在预算约束的序列决策中产生比现有方法更紧致的遗憾边界？
• RQ3 在不同臂成本与奖励设置下，精确（KUBE）与松弛（分数 KUBE）背包解的选择如何影响实际性能与遗憾？
• RQ4 所提算法的理论遗憾边界在多大程度上与实际性能匹配，尤其是在异构环境中？
• RQ5 所提算法能否在预算上限 B 上实现对数遗憾，与理论下限仅相差一个常数因子？

主要发现

• 在中等多样性的臂成本与奖励设置下，KUBE 相比分数 KUBE 最多可降低 40% 的遗憾，证明了精确背包求解的实际优势。
• KUBE 与分数 KUBE 的性能均收敛至 ln(B/c_min) 的常数倍，证实了其 O(ln B) 遗憾边界与渐近最优性。
• 与预算受限的 ε-first 方法相比，KUBE 最多可将遗憾降低 70%，在所有测试配置中均显著优于后者。
• 分数 KUBE 虽理论精度较低，但每步复杂度为 O(K)，而 KUBE 为 O(K ln K)，因此在性能损失的代价下更具可扩展性。
• 数值结果表明，两种算法的遗憾均低于 O(B^{2/3} (ln B)^{-1})，证明它们是首个在该设定中实现对数遗憾的算法。
• 在同质环境中，两种算法表现相近；但在多样化环境中，性能差距扩大，凸显了精确背包求解的重要性。