[论文解读] Double Thompson Sampling for Dueling Bandits

Huasen Wu, Xin Liu|arXiv (Cornell University)|Apr 25, 2016

Advanced Bandit Algorithms Research参考文献 20被引用 12

一句话总结

本文提出双 Thompson 采样（D-TS），一种用于双人对抗 bandits 的新算法，通过独立的 Thompson 采样选择成对比较中的两个臂，实现高效探索并避免次优的自比较。D-TS 在一般 Copeland 双人对抗 bandits 中实现 $O(K^2ackepsilon T)$ 的遗憾，在 Condorcet 和实际 Copeland 场景中进一步优化为 $O(Kackepsilon T + K^2ackepsilon\log\log T)$，其增强版本 D-TS+ 通过更优的 tie-breaking 策略提升了实际性能。

ABSTRACT

In this paper, we propose a Double Thompson Sampling (D-TS) algorithm for dueling bandit problems. As indicated by its name, D-TS selects both the first and the second candidates according to Thompson Sampling. Specifically, D-TS maintains a posterior distribution for the preference matrix, and chooses the pair of arms for comparison by sampling twice from the posterior distribution. This simple algorithm applies to general Copeland dueling bandits, including Condorcet dueling bandits as its special case. For general Copeland dueling bandits, we show that D-TS achieves $O(K^2 \log T)$ regret. For Condorcet dueling bandits, we further simplify the D-TS algorithm and show that the simplified D-TS algorithm achieves $O(K \log T + K^2 \log \log T)$ regret. Simulation results based on both synthetic and real-world data demonstrate the efficiency of the proposed D-TS algorithm.

研究动机与目标

• 为解决在双人对抗 bandits 中应用 Thompson 采样时面临的挑战，即自比较不提供任何信息，可能使学习算法陷入困境。
• 设计一种可扩展、鲁棒的算法，有效探索一般 Copeland 双人对抗 bandits 中的偏好空间，包括 Condorcet 情况。
• 为基于 Thompson 采样的双人对抗 bandits 算法建立理论遗憾界，克服臂选择相关性及非信息性比较带来的困难。
• 通过改进 D-TS 中的 tie-breaking 策略，提升实际性能，从而导出 D-TS+，在不牺牲理论保证的前提下改善实际遗憾。

提出的方法

• D-TS 从偏好矩阵的后验分布中独立抽取两组样本，以选择用于比较的第一和第二只臂。
• 该算法使用 RUCB 和 RLCB 置信区间边界来剔除次优臂，防止系统陷入非信息性比较。
• 通过固定第一个候选臂，并将与其他臂的比较视为标准 MAB 问题，D-TS 借助已知的 TS 分析技术推导出理论遗憾界。
• 应用反向代入论证，对 Condorcet 和实际 Copeland 双人对抗 bandits 中的遗憾界进行精炼，将对数因子从 $\log T$ 降低至 $\log\log T$。
• D-TS+ 通过在采样过程中更精细地处理 tie-breaking 来增强 D-TS，从而提升实际性能，尤其在存在多个 Copeland 冠军的场景中表现更优。
• 该算法在合成数据集和真实世界数据集（包括 MSLR 和循环偏好矩阵）上进行了评估，覆盖了不同的反馈延迟和时间跨度。

实验结果

研究问题

• RQ1 尽管自比较不提供信息，Thompson 采样是否仍可有效适配于双人对抗 bandits？
• RQ2 在一般 Copeland 双人对抗 bandits 中，基于双采样 Thompson 采样的方法可建立怎样的理论遗憾界？
• RQ3 双采样结构如何相比 UCB 类或 MED 类算法提升探索效率并降低遗憾？
• RQ4 在 Condorcet 和实际 Copeland 双人对抗 bandits 中，能否通过反向代入论证将遗憾界进一步优化至标准 $O(K^2\log T)$ 以下？
• RQ5 D-TS 中改进的 tie-breaking 策略是否能带来可测量的遗憾与鲁棒性提升？

主要发现

• D-TS 在一般 Copeland 双人对抗 bandits 中实现了 $O(K^2\backepsilon T)$ 的遗憾，表明其在臂数量增加时仍具备理论可扩展性。
• 在 Condorcet 双人对抗 bandits 和大多数实际 Copeland 场景中，通过反向代入论证，遗憾被精炼为 $O(K\backepsilon T + K^2\backepsilon\log\log T)$。
• D-TS+ 通过改进 tie-breaking 策略，在 D-TS 基础上提升了实际性能，尤其在存在多个 Copeland 冠军的场景中表现更优。
• 实验表明，D-TS 和 D-TS+ 在遗憾和鲁棒性方面显著优于现有算法（如 CCB、ECW-RMED 和 RUCB），尤其在反馈延迟场景下。
• RUCB/RLCB 剔除步骤在非 Condorcet 场景中对实现次线性遗憾至关重要；若移除该步骤，某些情况下会导致线性遗憾。
• D-TS 和 D-TS+ 在多种数据集上保持了强劲性能，包括 MSLR（Condorcet）和循环偏好矩阵（非 Condorcet），即使在反馈延迟长达 300 个时间槽的情况下也表现稳健。