[论文解读] Information Directed Sampling for Stochastic Bandits with Graph Feedback

Fang Liu, Swapna Buccapatnam+1 more|arXiv (Cornell University)|Nov 8, 2017

Advanced Bandit Algorithms Research被引用 20

一句话总结

本文提出了基于信息导向采样（IDS）的策略，用于具有时变图反馈的随机多臂赌博机问题，其中观测某一动作会揭示其邻近动作的奖励。在确定性情况下，该研究建立了与图的团覆盖数成比例的贝叶斯后悔界；在随机Erdős-Rényi图情况下，后悔界与动作数和每轮期望观测数之比成比例——这是首次为具有随机图反馈的随机赌博机提供理论保证。数值实验表明，所提出的IDS策略在性能上优于Thompson采样、UCB和ε-贪婪的改进版本。

ABSTRACT

We consider stochastic multi-armed bandit problems with graph feedback, where the decision maker is allowed to observe the neighboring actions of the chosen action. We allow the graph structure to vary with time and consider both deterministic and Erdős-Rényi random graph models. For such a graph feedback model, we first present a novel analysis of Thompson sampling that leads to tighter performance bound than existing work. Next, we propose new Information Directed Sampling based policies that are graph-aware in their decision making. Under the deterministic graph case, we establish a Bayesian regret bound for the proposed policies that scales with the clique cover number of the graph instead of the number of actions. Under the random graph case, we provide a Bayesian regret bound for the proposed policies that scales with the ratio of the number of actions over the expected number of observations per iteration. To the best of our knowledge, this is the first analytical result for stochastic bandits with random graph feedback. Finally, using numerical evaluations, we demonstrate that our proposed IDS policies outperform existing approaches, including adaptions of upper confidence bound, $ε$-greedy and Exp3 algorithms.

研究动机与目标

• 为具有时变图反馈（即可观测邻居动作的奖励）的随机多臂赌博机设计最小化后悔的策略。
• 通过将图结构融入决策过程，改进现有的Thompson采样和UCB方法。
• 首次建立随机图反馈（Erdős-Rényi模型）下随机赌博机的理论贝叶斯后悔界。
• 探究IDS策略是否能通过利用图结构实现优于Thompson采样的后悔标度。
• 在时间不变和时间可变图反馈场景下，评估所提策略与现有赌博机算法的性能表现。

提出的方法

• 提出三种基于IDS的策略：IDS-N、IDSN-LP和IDS-LP，其通过最小化期望平方后悔与信息增益之比来选择动作。
• 提出一种新颖的Thompson采样（TS-N）分析，其得到的后悔界比以往工作更紧致，且依赖于图的团覆盖数。
• 利用信息论原则平衡探索与利用，显式建模不确定性以及来自图结构观测的信息增益。
• 分析具有时变结构的确定性图和通过Erdős-Rényi模型生成的随机图，其中侧向观测以随机方式丢失。
• 采用贝叶斯后悔分析，推导出与图结构属性（如团覆盖数和支配数）成比例的问题无关的后悔界。
• 在IDS-LP和IDSN-LP中，采用基于线性规划（LP）和贪心策略的方法，以增强探索能力，同时最小化瞬时后悔。

实验结果

研究问题

• RQ1 在具有图反馈的随机赌博机中，基于IDS的策略是否能实现优于Thompson采样的后悔标度？
• RQ2 在具有时变确定性图反馈的随机赌博机中，其理论贝叶斯后悔界是什么？
• RQ3 在随机图反馈下，特别是Erdős-Rényi模型中，基于IDS的策略性能如何标度？
• RQ4 是否可以通过利用图结构参数（如独立数）来进一步改进IDS策略的后悔界？
• RQ5 在确定性和随机图反馈设置下，基于IDS的策略与UCB、ε-贪婪和Exp3的改进版本相比，其性能如何？

主要发现

• 所提出的IDS-N、IDSN-LP和IDS-LP策略在确定性情况下，其贝叶斯后悔界与图的团覆盖数成比例，与Thompson采样的理论性能一致，但实验结果更优。
• 首次为具有随机图反馈的随机赌博机建立了问题无关的贝叶斯后悔界，其标度与动作数和每轮期望观测数之比成正比。
• 数值实验表明，IDS策略在时间不变和时间可变图反馈设置下，均优于TS-N、UCB-N、εt-greedy-LP和Exp3-SET/Exp3-Res。
• IDS-LP尽管其后悔界与动作数成比例，但性能仍出色，原因在于其通过贪心策略最小化瞬时后悔，同时保证了探索。
• IDS策略相对于现有方法的性能提升，归因于其在信息导向决策中显式利用了图结构。
• 结果表明，利用图参数（如独立数）进一步紧致IDS策略的后悔界，仍是待解决的开放问题。