[论文解读] Fixed-Confidence Guarantees for Bayesian Best-Arm Identification

Xuedong Shang, Rianne de Heide+3 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Bandit Algorithms Research参考文献 20被引用 5

一句话总结

本文提出了一种计算高效的 Top-Two Thompson Sampling（TTTS）变体——Top-Two Transportation Cost（T3C），并在具有高斯奖励的贝叶斯固定置信度最优臂识别框架下，首次对 TTTS 和 T3C 进行了样本复杂度分析。该研究证明了 δ-正确性与最优后验收敛性，解决了 Russo（2016）提出的一个开放问题。

ABSTRACT

We investigate and provide new insights on the sampling rule called Top-Two Thompson Sampling (TTTS). In particular, we justify its use for fixed-confidence best-arm identification. We further propose a variant of TTTS called Top-Two Transportation Cost (T3C), which disposes of the computational burden of TTTS. As our main contribution, we provide the first sample complexity analysis of TTTS and T3C when coupled with a very natural Bayesian stopping rule, for bandits with Gaussian rewards, solving one of the open questions raised by Russo (2016). We also provide new posterior convergence results for TTTS under two models that are commonly used in practice: bandits with Gaussian and Bernoulli rewards and conjugate priors.

研究动机与目标

• 解决 Russo（2016）提出的关于固定置信度最优臂识别中 Top-Two Thompson Sampling（TTTS）理论样本复杂度的开放问题。
• 提出一种新的贝叶斯采样规则——Top-Two Transportation Cost（T3C），在保持理论保证的同时降低计算成本。
• 在高斯 bandits 情况下，当与自然的贝叶斯停止规则结合时，建立 TTTS 和 T3C 的 δ-正确性与最优后验收敛性。
• 首次为任意时间贝叶斯采样规则在固定置信度 BAI 设置下提供严格的样本复杂度分析。
• 将对贝叶斯最优臂识别中后验集中与探索效率的理论理解，从最小化遗憾的算法扩展至更广泛的框架。

提出的方法

• 通过用基于运输成本的选择策略替代采样机制，提出 T3C 作为 TTTS 的计算轻量化替代方案。
• 采用基于后验概率阈值的贝叶斯停止规则，以确保在固定置信度设置下的 δ-正确性。
• 利用大偏差与 Kullback-Leibler 散度界分析样本复杂度，特别利用 Beta-Binomial 技巧进行后验尾部估计。
• 通过 KL 散度与后验集中分析错误推荐概率的界，证明风险参数 δ 的指数衰减。
• 应用分部积分与下确界为基础的 KL 散度最小化，推导出错误概率的紧致上界。
• 建立在 TTTS 和 T3C 下，最优臂被选中的后验概率以几乎必然方式收敛至 1，且收敛速率达到最优。

实验结果

研究问题

• RQ1 Top-Two Thompson Sampling（TTTS）在固定置信度最优臂识别设置中是否实现了最优样本复杂度？
• RQ2 TTTS 的计算高效变体（如 T3C）能否在降低计算开销的同时保持理论保证？
• RQ3 当 TTTS 和 T3C 与自然的贝叶斯停止规则结合用于高斯 bandits 时，其样本复杂度是多少？
• RQ4 在 TTTS 和 T3C 下，最优臂被选中的后验概率以多快的速度收敛至 1？
• RQ5 TTTS 的理论保证能否扩展至固定置信度 BAI 框架下更广泛的贝叶斯采样规则类别？

主要发现

• 本文首次对固定置信度最优臂识别设置下的 TTTS 进行了样本复杂度分析，证明其样本复杂度在对数因子范围内达到最优。
• T3C 被证明是 δ-正确的，并且其渐近样本复杂度与 TTTS 相同，但计算成本显著降低。
• 在 TTTS 和 T3C 下，最优臂被选中的后验概率以几乎必然方式收敛至 1，且收敛速率达到最优。
• 对于高斯 bandits，所提出的贝叶斯停止规则可确保 δ-正确性，且期望样本复杂度与理论下界在对数项内匹配。
• 分析表明，错误概率随风险参数 δ 呈指数衰减，衰减速率由关键区间上 KL 散度之和的下确界决定。
• 理论界表明，错误推荐概率的上界由一个随 exp(−C) 衰减的项控制，其中常数 C 与臂均值之间的分离度相关，证实了强置信度保证。