[论文解读] Cost-aware Cascading Bandits

Ruida Zhou, Chao Gan+2 more|arXiv (Cornell University)|May 22, 2018

Advanced Bandit Algorithms Research参考文献 3被引用 6

一句话总结

本文提出了成本感知级联Bandits（CCB）模型，该模型通过引入检查项目时的随机异质成本，扩展了级联Bandits模型。提出了CC-UCB在线学习算法，并证明了其遗憾规模达到$O(\log T)$的阶最优，同时给出了匹配的下界。此外，还确定了在已知统计信息下的最优离线策略UCR-T1。

ABSTRACT

In this paper, we propose a cost-aware cascading bandits model, a new variant of multi-armed ban- dits with cascading feedback, by considering the random cost of pulling arms. In each step, the learning agent chooses an ordered list of items and examines them sequentially, until certain stopping condition is satisfied. Our objective is then to max- imize the expected net reward in each step, i.e., the reward obtained in each step minus the total cost in- curred in examining the items, by deciding the or- dered list of items, as well as when to stop examina- tion. We study both the offline and online settings, depending on whether the state and cost statistics of the items are known beforehand. For the of- fline setting, we show that the Unit Cost Ranking with Threshold 1 (UCR-T1) policy is optimal. For the online setting, we propose a Cost-aware Cas- cading Upper Confidence Bound (CC-UCB) algo- rithm, and show that the cumulative regret scales in O(log T ). We also provide a lower bound for all α-consistent policies, which scales in Ω(log T ) and matches our upper bound. The performance of the CC-UCB algorithm is evaluated with both synthetic and real-world data.

研究动机与目标

• 建模在级联Bandits中存在随机异质成本的顺序项目检查过程。
• 在已知臂状态与成本统计信息时，识别最优离线策略。
• 设计一种在线算法，在缺乏先验统计信息的情况下，平衡探索与成本感知排序。
• 为所提算法建立阶最优的遗憾边界。
• 利用Yandex点击日志的合成数据与真实世界数据验证算法性能。

提出的方法

• 提出成本感知级联Bandits（CCB）模型，其中每次拉取臂都会产生随机成本，且仅在停止前找到状态为1的项目时才能获得奖励。
• 引入单位成本排序阈值1（UCR-T1）策略作为最优离线策略，按$\theta_i / c_i$对臂进行排序，并在首次成功后停止。
• 开发基于UCB风格探索的成本感知级联上界置信度（CC-UCB）算法，以平衡成本与奖励估计。
• 通过分析两类错误事件（错误的臂排序与次优停止）推导出上界与下界遗憾。
• 在CC-UCB中采用基于阈值的停止规则，以最小化成本同时保持奖励概率。
• 使用合成数据与真实世界数据（Yandex点击日志）评估算法在不同成本与奖励条件下的性能。

实验结果

研究问题

• RQ1 当已知臂状态与成本统计信息时，成本感知级联Bandits的最优策略是什么？
• RQ2 在缺乏先验统计信息的情况下，如何设计在线算法以有效平衡成本与奖励？
• RQ3 在此设置下，任何$\alpha$-一致策略的遗憾基本极限是什么？
• RQ4 CC-UCB算法的性能如何随系统参数（如臂的数量与成本方差）变化？
• RQ5 在非i.i.d.行为的真实世界数据中，CC-UCB算法是否仍能保持次线性遗憾？

主要发现

• UCR-T1策略在离线设置下被证明为最优，即按$\theta_i / c_i$对臂排序，并在首次成功后停止。
• CC-UCB算法实现了$O(\log T)$的累积遗憾，与推导出的$\Omega(\log T)$下界一致，证明了阶最优性。
• 在已知成本统计信息时，遗憾显著降低——例如，当$K=6$，$L=3$，$\Delta_{L+1}=0.1$时，$T=10^5$下遗憾为352.88对比1,445.3。
• 遗憾随$K$增加而上升，随$L$增加而减少，且在$c$未知时更高，尤其当$\Delta_{L+1}$减小时更为明显。
• 在真实世界Yandex数据中，累积遗憾呈次线性增长，并随成本$c$单调增加，证实了理论可扩展性。
• 即使i.i.d.假设仅近似成立，该算法在真实世界数据中仍表现出鲁棒性。