[论文解读] Contextual Bandits with Stochastic Experts

Rajat Sen, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Feb 23, 2018

Advanced Bandit Algorithms Research参考文献 27被引用 4

一句话总结

该论文为具有随机专家的上下文Bandits问题提出了基于UCB的算法，利用重要性采样估计器来利用专家之间的信息泄露。其在实例相关 regret 边界上达到 $\mathcal{O}(\lambda(\boldsymbol{\mu})\mathcal{M}\log T/\Delta)$，其中 $\lambda(\boldsymbol{\mu})$ 通常为 $\mathcal{O}(\log N)$，并在真实世界数据集上相比最先进方法展现出更优的实验性能。

ABSTRACT

We consider the problem of contextual bandits with stochastic experts, which is a variation of the traditional stochastic contextual bandit with experts problem. In our problem setting, we assume access to a class of stochastic experts, where each expert is a conditional distribution over the arms given a context. We propose upper-confidence bound (UCB) algorithms for this problem, which employ two different importance sampling based estimators for the mean reward for each expert. Both these estimators leverage information leakage among the experts, thus using samples collected under all the experts to estimate the mean reward of any given expert. This leads to instance dependent regret bounds of $\mathcal{O}\left(λ(\pmbμ)\mathcal{M}\log T/Δ ight)$, where $λ(\pmbμ)$ is a term that depends on the mean rewards of the experts, $Δ$ is the smallest gap between the mean reward of the optimal expert and the rest, and $\mathcal{M}$ quantifies the information leakage among the experts. We show that under some assumptions $λ(\pmbμ)$ is typically $\mathcal{O}(\log N)$, where $N$ is the number of experts. We implement our algorithm with stochastic experts generated from cost-sensitive classification oracles and show superior empirical performance on real-world datasets, when compared to other state of the art contextual bandit algorithms.

研究动机与目标

• 为解决上下文Bandits中确定性专家的局限性，引入具有条件臂分布的随机专家。
• 设计基于UCB的算法，利用随机专家之间的信息泄露以提升 regret 表现。
• 推导依赖于专家相似性和奖励差距的实例相关 regret 边界，而非仅依赖于臂的数量。
• 通过使用代价敏感分类器的 oracle 在真实世界数据集上实证验证所提算法。
• 提供理论保证，其规模依赖于专家差异和奖励差距，而非仅依赖于臂的数量。

提出的方法

• 提出两种基于UCB的算法，利用重要性采样估计器，从在所有专家下收集的样本中估计专家的平均奖励。
• 引入一种分批学习过程，定期使用代价敏感分类器的 oracle 添加新的随机专家。
• 采用众数矩（MOM）和经验均值估计器以提高奖励估计的鲁棒性并降低方差。
• 使用专家之间的差异度量来量化信息泄露，该度量通过 $\mathcal{M}$ 项影响 regret 边界。
• 应用自助采样和校准分类器（XGBoost、逻辑回归）生成多样化的随机专家。
• 以批次方式部署算法，每 $\mathcal{O}(\sqrt{t})$ 步更新专家和差异估计，以平衡探索与适应。

实验结果

研究问题

• RQ1 能否利用随机专家之间的信息泄露来降低上下文Bandits中的 regret？
• RQ2 在随机专家之间使用重要性采样时，可实现怎样的实例相关 regret 边界？
• RQ3 基于随机专家的UCB算法在真实世界数据上的性能与最先进上下文Bandits方法相比如何？
• RQ4 理论 regret 边界能否以专家差异和奖励差距表示，而非仅以臂的数量表示？
• RQ5 与确定性或贪婪基线相比，使用校准的随机专家是否能提升实验性能？

主要发现

• 所提出的 D-UCB 算法结合众数矩估计在酵母数据集上实现平均损失 0.61，优于袋装法（0.63）及其他基线。
• 在流数据分析数据集上，D-UCB-MOM 收敛至平均损失 9%，与袋装法（8%）表现接近，同时提供理论保证。
• 在字母数据集上，D-UCB-MOM 显著优于所有其他算法，展现出在高维多分类场景下的强大实验优势。
• 理论 regret 边界为 $\mathcal{O}(\lambda(\boldsymbol{\mu})\mathcal{M}\log T/\Delta)$，其中 $\lambda(\boldsymbol{\mu})$ 通常为 $\mathcal{O}(\log N)$，表明其在专家数量上具有有利的缩放特性。
• 随着专家数量增加，与 UCB-1 边界相比，该差距相关 regret 项增长更缓慢，尤其在流数据分析数据集上表现显著。
• 该算法在所有数据集上均无需超参数调优，仅使用固定常数和基础分类器，仍保持优异性能。