[论文解读] Correlated Multiarmed Bandit Problem: Bayesian Algorithms and Regret Analysis

Vaibhav Srivastava, Paul Reverdy+1 more|arXiv (Cornell University)|Jul 5, 2015

Advanced Bandit Algorithms Research参考文献 16被引用 11

一句话总结

本文提出了一种用于高斯奖励多臂赌博机问题的关联上可信限（UCL）算法，利用编码空间相关性的贝叶斯先验。结果表明，具有正确相关性结构的信息性先验可显著降低累积遗憾，而错误的相关性假设则会损害性能，凸显了先验准确性与相关性尺度在决策性能中的关键作用。

ABSTRACT

We consider the correlated multiarmed bandit (MAB) problem in which the rewards associated with each arm are modeled by a multivariate Gaussian random variable, and we investigate the influence of the assumptions in the Bayesian prior on the performance of the upper credible limit (UCL) algorithm and a new correlated UCL algorithm. We rigorously characterize the influence of accuracy, confidence, and correlation scale in the prior on the decision-making performance of the algorithms. Our results show how priors and correlation structure can be leveraged to improve performance.

研究动机与目标

• 分析贝叶斯先验假设（特别是准确性、置信度和相关性尺度）对相关多臂赌博机问题中UCL算法性能的影响。
• 研究信息性先验（特别是包含空间相关性的先验）在高斯奖励赌博机设置中对累积遗憾的影响。
• 提出并评估一种新型关联UCL算法，通过利用结构化先验来提升空间嵌入任务中的决策性能。
• 识别信息性先验优于非信息性先验的条件，以及因不准确或错误相关性假设而导致性能下降的情况。

提出的方法

• 将UCL算法应用于奖励服从多变量正态分布的相关多臂赌博机问题。
• 先验分布编码了对臂奖励的信念，包括均值、方差以及通过指定相关性长度尺度的指数核实现的空间相关性。
• 通过100次模拟运行计算平均遗憾轨迹，使用累积期望遗憾评估性能。
• 比较非信息性先验、信息性非相关先验以及具有不同准确性和相关性尺度的信息性相关先验。
• 提出一种新型关联UCL算法，明确在后验更新和选择规则中引入空间相关性结构。
• 在先验信息充分和不充分的条件下进行遗憾分析，以隔离先验置信度与准确性的独立影响。

实验结果

研究问题

• RQ1 在相关多臂赌博机设置中，先验均值的准确性如何影响UCL算法的累积遗憾？
• RQ2 先验置信度（方差）和先验不准确性（均值偏移）对决策性能有何影响？
• RQ3 先验中的相关性尺度如何影响探索奖励曲面所需的步数？
• RQ4 具有错误相关性尺度的关联先验是否会导致遗憾增加？如果是，在何种条件下会发生？
• RQ5 先验中的空间相关性结构在多大程度上可弥补均值估计的不准确性？

主要发现

• 具有正确相关性结构的信息性关联先验相比非信息性或非相关先验，可显著降低累积遗憾。
• 信息不足的非相关先验可能使性能劣于非信息性先验，导致在 t = 4,500 时遗憾增加至约 35,000，原因是对次优臂的探索时间过长。
• 具有较长但错误相关性尺度的信息性关联先验仍优于非信息性先验，但其性能改善程度不及信息充分的关联先验。
• 采用信息充分的关联先验的UCL算法可超越Lai-Robbins对数遗憾下限，表明在特定设置下，先验知识可实现超最优性能。
• 在信息不足的非相关先验中加入相关性结构，可恢复接近信息充分关联先验的性能，凸显空间相关性信息的价值。
• 本研究识别出先验置信度与不准确性之间的权衡：对不准确先验的高置信度会导致性能下降，而较低置信度可缓解此影响。