[论文解读] Multi-armed Bandits with Compensation

Siwei Wang, Longbo Huang|arXiv (Cornell University)|Nov 5, 2018

Advanced Bandit Algorithms Research被引用 14

一句话总结

本文提出了已知补偿多臂赌博机（KCMAB）问题，其中控制器通过货币补偿激励短期玩家探索次优臂，以最小化遗憾。研究建立了紧致的 $\frac{1}{2}$-遗憾和补偿下界 $\frac{\theta(\text{log } T)}{\text{KL 散度}}$，并提出了三种算法，实现 $O(\text{log } T)$ 遗憾和补偿，与理论下界一致。

ABSTRACT

We propose and study the known-compensation multi-arm bandit (KCMAB) problem, where a system controller offers a set of arms to many short-term players for $T$ steps. In each step, one short-term player arrives to the system. Upon arrival, the player aims to select an arm with the current best average reward and receives a stochastic reward associated with the arm. In order to incentivize players to explore other arms, the controller provides a proper payment compensation to players. The objective of the controller is to maximize the total reward collected by players while minimizing the compensation. We first provide a compensation lower bound $Θ(\sum_i {Δ_i\log T\over KL_i})$, where $Δ_i$ and $KL_i$ are the expected reward gap and Kullback-Leibler (KL) divergence between distributions of arm $i$ and the best arm, respectively. We then analyze three algorithms to solve the KCMAB problem, and obtain their regrets and compensations. We show that the algorithms all achieve $O(\log T)$ regret and $O(\log T)$ compensation that match the theoretical lower bound. Finally, we present experimental results to demonstrate the performance of the algorithms.

研究动机与目标

• 建模长期控制器必须通过补偿激励短期玩家探索各臂的情境。
• 在有限预算下，最小化遗憾的同时保持低补偿成本。
• 在 KCMAB 框架下建立遗憾和补偿的理论下界。
• 设计并分析在遗憾与补偿之间实现最优权衡的算法。
• 通过实验结果验证理论发现的算法性能。

提出的方法

• 提出 KCMAB 模型，其中控制器向短期玩家提供各臂，并通过补偿激励其探索。
• 基于奖励差距和 KL 散度，推导出补偿的理论下界 $\Theta\left(\sum_i \frac{\Delta_i \log T}{\text{KL}_i}\right)$。
• 设计三种算法——基于 UCB、基于 Thompson Sampling，以及一种混合算法——利用经验均值估计和置信区间指导补偿策略。
• 使用 Beta-二项分布技巧和 Chernoff-Hoeffding 不等式，界定在不确定性下错误选择臂的概率。
• 通过追踪经验均值的变化并界定各时间步所需支付的上限，分析补偿成本。
• 应用高概率浓度不等式，确保在随机奖励历史条件下遗憾和补偿均被有界。

实验结果

研究问题

• RQ1 在激励式多臂赌博机设置中，遗憾与补偿之间的根本权衡是什么？
• RQ2 在已知奖励分布下，控制器能否同时实现 $O(\text{log } T)$ 遗憾和补偿？
• RQ3 在 KCMAB 模型中，实现 $O(\text{log } T)$ 遗憾所需的理论最小补偿是多少？
• RQ4 不同探索策略（如 UCB、Thompson Sampling）在遗憾和补偿方面的表现如何？
• RQ5 补偿成本能否独立于奖励的随机历史而有界？

主要发现

• 本文建立了补偿下界 $\Theta\left(\sum_i \frac{\Delta_i \log T}{\text{KL}_i}\right)$，该下界是紧致的，且依赖于奖励差距和 KL 散度。
• 所提出的三种算法均实现 $O(\text{log } T)$ 遗憾和 $O(\text{log } T)$ 补偿，与理论下界一致。
• 次优臂被拉动的期望次数被限制在 $O(\log T)$ 以内，从而确保了对数级遗憾。
• 补偿成本上界为 $\sum_i \frac{8}{\Delta_i - \varepsilon} \log T + O\left(\frac{N}{\varepsilon^4}\right) + F_2(\bm{\mu})$，其中 $F_2(\bm{\mu})$ 捕获了与模型相关的常数。
• 分析表明，补偿不仅取决于期望奖励差距，还取决于经验均值的变化和置信区间。
• 实验结果证实，这些算法实现了低遗憾和低补偿，验证了理论边界的正确性。