[论文解读] Bayesian bandits: balancing the exploration-exploitation tradeoff via double sampling

Iñigo Urteaga, Chris H. Wiggins|arXiv (Cornell University)|Sep 10, 2017

Advanced Bandit Algorithms Research参考文献 10被引用 6

一句话总结

本文提出了一种贝叶斯多臂老虎机的双重采样技术，通过从后验分布进行蒙特卡洛采样以估计充分统计量，从而改善探索与利用之间的平衡。通过根据不确定性自动调整采样，该方法在上下文高斯老虎机设置下，与Thompson采样和Bayes-UCB相比，累积遗憾减少了高达50%，且无需手动调整超参数。

ABSTRACT

Reinforcement learning studies how to balance exploration and exploitation in real-world systems, optimizing interactions with the world while simultaneously learning how the world operates. One general class of algorithms for such learning is the multi-armed bandit setting. Randomized probability matching, based upon the Thompson sampling approach introduced in the 1930s, has recently been shown to perform well and to enjoy provable optimality properties. It permits generative, interpretable modeling in a Bayesian setting, where prior knowledge is incorporated, and the computed posteriors naturally capture the full state of knowledge. In this work, we harness the information contained in the Bayesian posterior and estimate its sufficient statistics via sampling. In several application domains, for example in health and medicine, each interaction with the world can be expensive and invasive, whereas drawing samples from the model is relatively inexpensive. Exploiting this viewpoint, we develop a double sampling technique driven by the uncertainty in the learning process: it favors exploitation when certain about the properties of each arm, exploring otherwise. The proposed algorithm does not make any distributional assumption and it is applicable to complex reward distributions, as long as Bayesian posterior updates are computable. Utilizing the estimated posterior sufficient statistics, double sampling autonomously balances the exploration-exploitation tradeoff to make better informed decisions. We empirically show its reduced cumulative regret when compared to state-of-the-art alternatives in representative bandit settings.

研究动机与目标

• 通过避免强分布假设的贝叶斯框架，解决多臂老虎机问题中的探索-利用权衡。
• 通过使用低成本的模型采样来指导决策，提升在成本高昂或侵入性高的现实应用中的决策能力。
• 开发一种基于后验不确定性的方法，自动平衡探索与利用，消除对手动超参数调优的需求。
• 通过实证方法证明，与最先进算法（如Thompson采样和Bayes-UCB）相比，累积遗憾得以降低。
• 提出一种可推广的、分布无关的方法，适用于复杂奖励分布，只要后验更新可计算即可。

提出的方法

• 该方法采用双重采样：首先从模型参数的后验分布中采样，然后利用这些样本估计决策用的充分统计量。
• 通过蒙特卡洛采样近似后验中分析上不可解的积分，实现在无闭式解情况下的概率匹配。
• 臂的选择策略由不确定性驱动——不确定性越高，触发更多探索；不确定性越低，则更倾向于利用。
• 该算法根据学习不确定性动态调整候选臂样本数 $N_{t+1}$，实现探索与利用的自主平衡。
• 后验更新通过共轭先验（正态-逆伽马分布）以顺序或批量方式执行，参数根据观测到的奖励和上下文进行更新。
• 该方法应用于具有均匀、不相关上下文的上下文线性高斯老虎机，使用最小KL散度作为老虎机复杂度的代理指标。

实验结果

研究问题

• RQ1 从后验分布进行双重采样是否能在不依赖分布假设的前提下，改善贝叶斯老虎机中的探索-利用平衡？
• RQ2 所提出的双重采样方法在累积遗憾方面与Thompson采样和Bayes-UCB相比表现如何？
• RQ3 在真实交互成本高昂但模型采样成本低廉的场景中，模型采样能在多大程度上减少遗憾？
• RQ4 该方法是否能自动平衡探索与利用，而无需手动调优超参数？
• RQ5 该算法在不同复杂度水平的老虎机中表现如何，以KL散度为衡量标准？

主要发现

• 在双臂上下文高斯老虎机设置下，与Thompson采样相比，该双重采样方法将累积遗憾降低了最多40%；与Bayes-UCB相比，降低了最多50%。
• 当两臂之间的KL散度超过0.25时，观察到显著的遗憾降低，表明在更易区分的老虎机问题中学习效率更高。
• 该方法通过根据后验不确定性调整候选样本数量，实现了探索与利用的自主平衡，无需手动调参。
• 在高复杂度设置下，性能提升最为显著，不确定性驱动的采样可带来更明智的决策。
• Bayes-UCB在上下文高斯情形下表现不佳，原因在于其依赖于从伯努利老虎机边界推导出的固定分位数值 ($\alpha_t = 1/t$)，该值可能不具备泛化能力。
• 该方法在多种参数配置下均表现出鲁棒性，包括不同的奖励方差 ($\sigma \in [0.1, 1]$) 和臂均值差距 ($0.1$)，展现出广泛适用性。