[论文解读] Analysis of Thompson Sampling for Graphical Bandits Without the Graphs

Fang Liu, Zizhan Zheng+1 more|arXiv (Cornell University)|May 23, 2018

Advanced Bandit Algorithms Research参考文献 14被引用 6

一句话总结

本文分析了在未知反馈图的情况下图形上下 bandits 中的 Thompson Sampling，表明标准 Thompson Sampling (TS-N) 在无向情况下实现了最优后悔 $ ilde{O}(eta_0(G)T)$，在有向情况下实现了近乎最优的边界。一种改进的变体 TS-U 将 Thompson Sampling 与均匀探索相结合，在有向设置下无需图知识且可高效实现，实现了对数因子内的最优后悔。

ABSTRACT

We study multi-armed bandit problems with graph feedback, in which the decision maker is allowed to observe the neighboring actions of the chosen action, in a setting where the graph may vary over time and is never fully revealed to the decision maker. We show that when the feedback graphs are undirected, the original Thompson Sampling achieves the optimal (within logarithmic factors) regret $ ilde{O}\left(\sqrt{β_0(G)T} ight)$ over time horizon $T$, where $β_0(G)$ is the average independence number of the latent graphs. To the best of our knowledge, this is the first result showing that the original Thompson Sampling is optimal for graphical bandits in the undirected setting. A slightly weaker regret bound of Thompson Sampling in the directed setting is also presented. To fill this gap, we propose a variant of Thompson Sampling, that attains the optimal regret in the directed setting within a logarithmic factor. Both algorithms can be implemented efficiently and do not require the knowledge of the feedback graphs at any time.

研究动机与目标

• 分析在反馈图未知且时变时，图形 bandits 中的 Thompson Sampling。
• 填补标准 Thompson Sampling 在有向反馈图中性能表现不佳所导致的后悔差距。
• 设计一种 Thompson Sampling 的变体，使其在有向设置下无需图知识即可实现最优后悔。
• 为现实世界应用提供实用且高效的算法，尤其适用于图隐私或访问受限的场景。
• 建立仅依赖于图的组合性质（如平均独立数 $\beta_0(G)$）的理论后悔边界。

提出的方法

• 提出 TS-N，一种标准 Thompson Sampling 算法，从后验分布中采样动作值，并根据邻近动作的观测奖励进行更新。
• 引入 TS-U，一种混合算法，以概率 $\epsilon_t$ 均匀随机选择动作以确保探索，从而提升在有向图中的性能。
• 使用平均独立数 $\beta_0(G)$ 作为关键图复杂度度量，以限制无向反馈图中的后悔。
• 应用集中不等式和后悔分解技术，推导出累积后悔的高概率边界。
• 采用 Alon 等人（2014）的引理 3 的变体，将结果扩展到无向图中的支配集。
• 通过 Erdős-Rényi 图和时不变结构的数值实验，验证了经验性能。

实验结果

研究问题

• RQ1 在未知反馈图的情况下，标准 Thompson Sampling 是否能在无向图形 bandits 中实现最优后悔？
• RQ2 为何标准 Thompson Sampling 在有向图形 bandits 中无法实现最优后悔？
• RQ3 结合均匀探索的改进型 Thompson Sampling 算法是否能恢复有向图形 bandits 中的最优后悔？
• RQ4 在无图知识设置下，Thompson Sampling 可实现的最紧致后悔边界是什么？
• RQ5 在时变和时不变反馈图中，Thompson Sampling 的性能与 UCB-N 和 Cohen 算法相比如何？

主要发现

• Thompson Sampling (TS-N) 在无向图形 bandits 设置下实现了 $\tilde{O}(\sqrt{\beta_0(G)T})$ 的后悔边界，该边界在对数因子内是最优的。
• 在有向设置下，标准 Thompson Sampling 实现了 $O(\sqrt{mas(G)T\log K})$ 的后悔，该结果并非最优。
• 所提出的 TS-U 变体，结合 Thompson Sampling 与均匀采样，在有向情况下实现了 $O(\sqrt{\beta_0(G)T\log K\log(KT)})$ 的后悔，其在对数因子内是最优的。
• 数值结果表明，TS-N 和 TS-U 在时不变和时变图设置下均优于 UCB-N 和 Cohen 算法。
• 后悔边界在 $\beta_0(G)$ 的依赖关系中不依赖于动作数 $K$，使其可扩展至大规模动作集。
• 该分析作为副产品，为信息导向采样算法（IDS-N 和 IDSN-LP）在已知图设置下的后悔边界提供了改进。