[论文解读] Feedback graph regret bounds for Thompson Sampling and UCB

Thodoris Lykouris, Éva Tardos+1 more|arXiv (Cornell University)|May 23, 2019

Advanced Bandit Algorithms Research被引用 4

一句话总结

该论文表明，Thompson Sampling 和 Upper Confidence Bound (UCB) 通过结合图结构和臂的差距参数，在具有图反馈的随机多臂赌博机中实现了遗憾边界，尽管并未显式使用图结构进行探索。关键结果是期望遗憾边界的表达式为 $\mathcal{O}\left(\max_{I\in\mathcal{I}(G)}\sum_{a\in I}\frac{\ln T \ln(kT)}{\Delta(a)}\right)$，其中 $I$ 是反馈图 $G$ 的一个独立集，$\Delta(a)$ 是臂 $a$ 的差距。分析表明，这些经典算法在无需修改的情况下自然地利用了部分反馈。

ABSTRACT

We study the stochastic multi-armed bandit problem with the graph-based feedback structure introduced by Mannor and Shamir. We analyze the performance of the two most prominent stochastic bandit algorithms, Thompson Sampling and Upper Confidence Bound (UCB), in the graph-based feedback setting. We show that these algorithms achieve regret guarantees that combine the graph structure and the gaps between the means of the arm distributions. Surprisingly this holds despite the fact that these algorithms do not explicitly use the graph structure to select arms; they observe the additional feedback but do not explore based on it. Towards this result we introduce a "layering technique" highlighting the commonalities in the two algorithms.

研究动机与目标

• 分析 Thompson Sampling 和 UCB 在 Mannor 和 Shamir 提出的基于图的反馈赌博机设置中的性能。
• 确定这些经典算法是否能通过利用相邻臂的部分反馈来实现改进的遗憾边界。
• 建立同时依赖图结构（通过独立集）和臂均值差距的遗憾边界。
• 证明这些算法在不修改其选择规则的前提下，仅通过整合观测到的反馈即可实现性能提升。

提出的方法

• 引入一种分层技术，统一分析 UCB 和 Thompson Sampling，突出其共享的结构特性。
• 基于差距水平 $\phi$ 对臂进行划分，其中 $\mathcal{V}_\phi$ 包含差距位于 $[2^{-\phi-1}, 2^{-\phi})$ 的臂，以分阶段分析遗憾。
• 使用集中不等式和尾部概率界限（例如，来自 Agrawal 和 Goyal [AG13] 的结果）来控制采样均值偏离真实均值的概率。
• 通过利用独立性和基于差距的论证，限制次优臂在其实验均值远离真实值时被选择的次数。
• 引入饱和阈值 $L_a$，以区分臂选择的早期（未饱和）阶段和后期（已饱和）阶段。
• 利用反馈图 $G$ 的独立数 $\alpha$，推导所有独立集 $I \in \mathcal{I}(G)$ 上的最坏情况边界。

实验结果

研究问题

• RQ1 Thompson Sampling 和 UCB 是否能在反馈赌博机模型中实现结合图结构和臂差距参数的遗憾边界？
• RQ2 由于 UCB 和 Thompson Sampling 并未显式使用图结构进行探索，这是否意味着它们无法从部分反馈中受益？
• RQ3 这些算法的遗憾如何随反馈图的独立数和最小差距 $\Delta(a)$ 变化？
• RQ4 遗憾边界中额外的对数因子是算法本身的固有特性，还是分析方法的局限性？

主要发现

• Thompson Sampling 的期望遗憾被限制在 $\mathcal{O}\left(\max_{I\in\mathcal{I}(G)}\sum_{a\in I}\frac{\ln T \ln(kT)}{\Delta(a)}\right)$，其中 $\mathcal{I}(G)$ 是反馈图 $G$ 的所有独立集的集合。
• 遗憾边界随最大独立集大小 $\alpha$ 变化，从而得出一个与差距无关的边界 $\mathcal{O}(\sqrt{\alpha T \ln T \ln(kT)})$。
• 分析表明，UCB 和 Thompson Sampling 在不修改其选择规则的前提下，仅通过吸收相邻臂的反馈即可实现性能提升。
• 遗憾边界通过一种新颖的分层技术推导得出，该技术按差距大小对臂进行划分，并在每一层中界定选择概率。
• 与先前工作（例如，Buccapatnam 等人）相比，遗憾边界中额外的对数因子被证明可能是分析方法的固有特性，而非算法本身的缺陷。
• 结果表明，经典赌博机算法即使不显式使用图结构进行探索，也能隐式地利用图反馈结构。