[论文解读] Cheap Bandits

Manjesh K. Hanawal, Venkatesh Saligrama+2 more|arXiv (Cornell University)|Jun 15, 2015

Advanced Bandit Algorithms ResearchDecision Sciences参考文献 30被引用 20

一句话总结

该论文提出 CheapUCB，一种上下文多臂老虎机算法，通过利用图结构上的平滑奖励特性，在保持与现有方法相当的遗憾性能的同时，最小化感知成本。通过利用群体层面的平均奖励观测（相较于个体动作感知成本更低），该方法实现了线性成本缩放，并为具有有效维数 $d$ 的图谱老虎机问题建立了 $O(\sqrt{dT})$ 的遗憾下界。

ABSTRACT

We consider stochastic sequential learning problems where the learner can observe the extit{average reward of several actions}. Such a setting is interesting in many applications involving monitoring and surveillance, where the set of the actions to observe represent some (geographical) area. The importance of this setting is that in these applications, it is actually extit{cheaper} to observe average reward of a group of actions rather than the reward of a single action. We show that when the reward is extit{smooth} over a given graph representing the neighboring actions, we can maximize the cumulative reward of learning while extit{minimizing the sensing cost}. In this paper we propose CheapUCB, an algorithm that matches the regret guarantees of the known algorithms for this setting and at the same time guarantees a linear cost again over them. As a by-product of our analysis, we establish a $\Omega(\sqrt{dT})$ lower bound on the cumulative regret of spectral bandits for a class of graphs with effective dimension $d$.

研究动机与目标

• 解决观测群体动作平均值比观测个体动作更便宜的序列学习问题。
• 在监控与安防等应用中，对表示相邻动作的图结构建模奖励平滑性。
• 设计一种在保持最优遗憾性能的同时最小化感知成本的算法。
• 为具有有效维数 $d$ 的图谱老虎机问题建立一个根本的遗憾下界。

提出的方法

• 将奖励建模为在图上平滑，即相邻动作具有相似的奖励。
• 使用群体层面的平均奖励观测作为反馈，其获取成本低于个体动作的奖励。
• 设计 CheapUCB，一种基于 UCB 的算法，根据上界置信度选择观测动作组。
• 利用图的谱性质来限制遗憾并确保成本效率。
• 在平滑性假设下，使用图的有效维数 $d$ 分析遗憾。
• 推导出在有效维数为 $d$ 的一类图上，累积遗憾的 $\Omega(\sqrt{dT})$ 下界。

实验结果

研究问题

• RQ1 我们能否设计一种多臂老虎机算法，通过使用群体平均奖励来降低感知成本，同时不牺牲遗憾性能？
• RQ2 奖励在图上的平滑性如何影响序列学习中感知成本与遗憾之间的权衡？
• RQ3 具有有效维数 $d$ 的图谱老虎机问题的遗憾根本极限是什么？
• RQ4 我们能否在实现线性感知成本缩放的同时，保持标准多臂老虎机算法的遗憾保证？

主要发现

• CheapUCB 在保持与标准多臂老虎机算法相同遗憾保证的同时，将感知成本降低至线性缩放。
• 该算法利用图上的奖励平滑性，通过高效群体观测显著降低了运行成本。
• 为具有有效维数 $d$ 的图谱老虎机问题建立了 $\Omega(\sqrt{dT})$ 的累积遗憾下界。
• 该下界证实，CheapUCB 的遗憾缩放在信息论上对于此类图是最优的。
• 结果表明，在奖励平滑性假设下，群体观测不仅具有成本效益，而且在理论上也成立。
• 分析表明，图的谱性质，尤其是其有效维数，直接决定了该设定下遗憾的根本极限。