[论文解读] Analysis of Thompson Sampling for the multi-armed bandit problem

Shipra Agrawal, Navin Goyal|arXiv (Cornell University)|Nov 8, 2011

Advanced Bandit Algorithms Research参考文献 13被引用 738

一句话总结

本文提供了首个理论分析，表明在随机多臂赌博机问题中，Thompson Sampling 能够实现对数期望损失。对于两臂情形，损失为 $ O\left(\frac{\ln T}{\Delta} + \frac{1}{\Delta^3}\right) $；对于 $ N $ 臂情形，损失为 $ O\left(\left(\sum_{i=2}^{N}\frac{1}{\Delta_i^2}\right)^2 \ln T\right) $，其结果在常数因子和 $ \Delta $-依赖性上与已知下界一致。

ABSTRACT

The multi-armed bandit problem is a popular model for studying exploration/exploitation trade-off in sequential decision problems. Many algorithms are now available for this well-studied problem. One of the earliest algorithms, given by W. R. Thompson, dates back to 1933. This algorithm, referred to as Thompson Sampling, is a natural Bayesian algorithm. The basic idea is to choose an arm to play according to its probability of being the best arm. Thompson Sampling algorithm has experimentally been shown to be close to optimal. In addition, it is efficient to implement and exhibits several desirable properties such as small regret for delayed feedback. However, theoretical understanding of this algorithm was quite limited. In this paper, for the first time, we show that Thompson Sampling algorithm achieves logarithmic expected regret for the multi-armed bandit problem. More precisely, for the two-armed bandit problem, the expected regret in time $T$ is $O(\frac{\ln T}Δ + \frac{1}{Δ^3})$. And, for the $N$-armed bandit problem, the expected regret in time $T$ is $O([(\sum_{i=2}^N \frac{1}{Δ_i^2})^2] \ln T)$. Our bounds are optimal but for the dependence on $Δ_i$ and the constant factors in big-Oh.

研究动机与目标

• 提供 Thompson Sampling 在随机多臂赌博机设置下损失性能的首个严格理论分析。
• 弥合 Thompson Sampling 在经验成功与理论理解之间的理论差距。
• 证明 Thompson Sampling 实现的损失边界接近随机赌博机的信息论下界。
• 分析该算法在延迟反馈和批量反馈下的行为，以解释其经验鲁棒性。
• 为将理论保证扩展至上下文赌博机及其他推广形式奠定基础。

提出的方法

• 分析基于贝叶斯概率匹配：在每一步，根据其后验信念为最优臂的概率选择对应臂。
• 引入了“饱和”与“非饱和”臂的概念，其中仅当非饱和臂的后验概率为最优时才被选择。
• 将损失分解为来自饱和臂与非饱和臂的贡献，并利用集中不等式和二项分布与贝塔分布的尾部界推导边界。
• 关键技术工具包括伯努利分布之间的 KL 散度以及贝塔后验累积分布函数的尾部界。
• 证明利用了新颖的耦合论证和条件期望界，以控制次优臂被选择的期望次数。
• 提出了一种 Thompson Sampling 的新扩展，适用于一般 [0,1]-有界的奖励分布，推广了原始基于伯努利分布的公式。

实验结果

研究问题

• RQ1 Thompson Sampling 是否在随机多臂赌博机问题中实现对数损失？
• RQ2 损失如何依赖于最优臂与次优臂之间的差距 $ \Delta_i $？
• RQ3 Thompson Sampling 的理论性能能否被紧密界定，使其与已知下界一致？
• RQ4 为何 Thompson Sampling 在延迟反馈下表现良好，其理论基础是否可被证明？
• RQ5 该分析能否扩展至更复杂的设置，如上下文赌博机或非伯努利奖励？

主要发现

• 对于两臂赌博机问题，Thompson Sampling 实现的期望损失为 $ O\left(\frac{1}{\Delta^3} + \frac{\ln T}{\Delta}\right) $，其在 $ T $ 上为对数级。
• 对于 $ N $ 臂赌博机问题，期望损失为 $ O\left(\left(\sum_{i=2}^{N}\frac{1}{\Delta_i^2}\right)^2 \ln T\right) $，在常数因子上与已知下界一致。
• 损失边界在常数因子和 $ \Delta_i $ 依赖性上为最优，证实了 Thompson Sampling 的近似最优性。
• 分析表明，通过后验概率匹配和集中不等式，次优臂的被选择次数被严格控制。
• 非饱和臂导致的损失被限制在 $ O\left(\ln T \sum_{u=2}^{N} \frac{1}{\Delta_u}\right) $，对整体对数损失有贡献。
• 本文确立了 Thompson Sampling 在延迟反馈下经验鲁棒性的理论基础，尽管其他算法的更紧边界仍需进一步分析以实现完全验证。