[论文解读] Bandits with an Edge

Dotan Di Castro, Claudio Gentile+1 more|arXiv (Cornell University)|Sep 11, 2011

Advanced Bandit Algorithms Research参考文献 23被引用 5

一句话总结

本文研究了一类图结构的多臂赌博机问题，其中奖励无法直接观测，仅能通过边查询获得成对差异。提出了一种基于岭回归风格估计器的上下文学习算法，以高概率识别出 ϵ-最优节点，表明样本复杂度关键取决于图的直径——低直径图可实现显著更快的收敛速度。

ABSTRACT

We consider a bandit problem over a graph where the rewards are not directly observed. Instead, the decision maker can compare two nodes and receive (stochastic) information pertaining to the difference in their value. The graph structure describes the set of possible comparisons. Consequently, comparing between two nodes that are relatively far requires estimating the difference between every pair of nodes on the path between them. We analyze this problem from the perspective of sample complexity: How many queries are needed to find an approximately optimal node with probability more than $1-δ$ in the PAC setup? We show that the topology of the graph plays a crucial in defining the sample complexity: graphs with a low diameter have a much better sample complexity.

研究动机与目标

• 解决在仅可观测成对比较（差异）的图结构赌博机设置中，识别 ϵ-最优节点的挑战。
• 在 PAC 框架下分析以高概率（1−δ）找到近似最优节点的样本复杂度。
• 将模型扩展以包含上下文信息（例如用户特征），以自适应地为个体用户选择优质节点。
• 建立所需边查询次数的理论边界，表明图拓扑结构——尤其是直径——在效率中起关键作用。
• 设计一种构造性算法，在对抗性环境中利用线性回归工具平衡探索与估计。

提出的方法

• 将问题建模为图结构，其中每个节点具有未知值，边表示允许的成对比较。
• 对每条边使用基于岭回归的估计器来估计节点值的差异，并根据观测到的反馈更新估计值。
• 维护一个矩阵 $ A_{s,t} $，用于记录特征向量和采样时间的历史，通过集中不等式控制估计误差。
• 应用估计误差的高概率界：$ ({\boldsymbol{\tilde{u}}^{ij}_{s,t}}^\top \boldsymbol{x} - (\boldsymbol{u}_j - \boldsymbol{u}_i)^T\boldsymbol{x})^2 \leq \boldsymbol{x}^T A_{s,t}^{-1} \boldsymbol{x} (d \log \Sigma_{s,t} + \log \frac{1}{\delta}) $，确保差异估计的可靠性。
• 使用 NNE（非贪婪探索）算法基于当前估计选择节点，当估计误差低于 $ c\epsilon^2 $ 时终止，保证 ϵ-最优性。
• 推导累积样本复杂度边界：$ \sum_{s=1}^S T(\boldsymbol{x}_s) = O(B \log^2 B) $，其中 $ B = \frac{nD}{(\epsilon / \log n)^2} \log(\frac{n}{\delta / \log n}) d^2 $。

实验结果

研究问题

• RQ1 图的比较结构拓扑——特别是其直径——如何影响识别 ϵ-最优节点的样本复杂度？
• RQ2 能否设计一种上下文赌博机算法，基于用户特定特征自适应选择优质节点，同时最小化边查询次数？
• RQ3 在图结构设置下，仅可观测边差异（即差分反馈）时，识别 ϵ-最优节点的理论样本复杂度是多少？
• RQ4 如何将对抗性环境中线性回归工具适配到非 i.i.d. 反馈环境中，以保持价值差异估计的可靠性？
• RQ5 在图约束比较下，学习的基本极限是什么？与完整图设置（如 Dueling Bandits）相比有何差异？

主要发现

• 识别 ϵ-最优节点的样本复杂度关键取决于图的直径：低直径图可实现显著更优的性能。
• 所提算法实现累积样本复杂度 $ O(B \log^2 B) $，其中 $ B = \frac{nD}{(\epsilon / \log n)^2} \log(\frac{n}{\delta / \log n}) d^2 $，$ D $ 为图的直径。
• 通过基于岭回归的估计器与矩阵集中不等式，实现了对价值差异的高概率估计，确保在有限反馈下可靠推断。
• 算法维护矩阵 $ A_{s,t} $，用于记录特征历史与采样时间，通过行列式相关边界控制估计误差。
• 分析表明，每条边的样本数量受行列式比值对数函数的有界，将估计精度与采样历史联系起来。
• 该框架可自然扩展至上下文赌博机，其中用户特征 $ \boldsymbol{x}_s $ 指导对有前途节点的选择，提升个性化与效率。