[论文解读] Be Aware of Non-Stationarity: Nearly Optimal Algorithms for Piecewise-Stationary Cascading Bandits.

Lingda Wang, Huozhi Zhou+3 more|arXiv (Cornell University)|Sep 12, 2019

Advanced Bandit Algorithms Research参考文献 36被引用 3

一句话总结

本文提出了 GLRT-CascadeUCB 和 GLRT-CascadeKL-UCB 算法，针对分段平稳的级联多臂赌博机问题，提出了一类近乎最优的算法，利用无参数的广义似然比检验（GLRT）检测用户偏好的变化。该算法实现了 $\mathcal{O}(\sqrt{NLT\log T})$ 的后悔上界，与 $\Omega(\sqrt{NLT})$ 的极小化最大下界在对数因子范围内一致，证明了其近乎最优性，同时减少了调参数量，并改善了对 $L$ 的依赖关系。

ABSTRACT

Cascading bandit (CB) is a popular model for web search and online advertising, where an agent aims to learn the $K$ most attractive items out of a ground set of size $L$ during the interaction with a user. However, the stationary CB model may be too simple to apply to real-world problems, where user preferences may change over time. Considering piecewise-stationary environments, two efficient algorithms, exttt{GLRT-CascadeUCB} and exttt{GLRT-CascadeKL-UCB}, are developed and shown to ensure regret upper bounds on the order of $\mathcal{O}(\sqrt{NLT\log{T}})$, where $N$ is the number of piecewise-stationary segments, and $T$ is the number of time slots. At the crux of the proposed algorithms is an almost parameter-free change-point detector, the generalized likelihood ratio test (GLRT). Comparing with existing works, the GLRT-based algorithms: i) are free of change-point-dependent information for choosing parameters; ii) have fewer tuning parameters; iii) improve at least the $L$ dependence in regret upper bounds. In addition, we show that the proposed algorithms are optimal (up to a logarithm factor) in terms of regret by deriving a minimax lower bound on the order of $\Omega(\sqrt{NLT})$ for piecewise-stationary CB. The efficiency of the proposed algorithms relative to state-of-the-art approaches is validated through numerical experiments on both synthetic and real-world datasets.

研究动机与目标

• 解决平稳级联多臂赌博机模型在捕捉真实网络搜索和在线广告中随时间变化的用户偏好方面的局限性。
• 为分段平稳级联多臂赌博机设计高效算法，使其能够自适应变化的用户偏好，而无需事先知晓变化点信息。
• 与现有方法相比，减少调参数量，同时改善后悔上界中对项目集合大小 $L$ 的依赖关系。
• 通过推导出问题的极小化最大下界 $\Omega(\sqrt{NLT})$，并证明所提算法几乎达到该下界，从而建立理论最优性。
• 通过在合成数据集和真实数据集上的大量实验，验证所提算法的有效性。

提出的方法

• 引入广义似然比检验（GLRT）作为变化点检测器，无需用户指定参数或了解变化点的统计特性。
• 通过将 GLRT 与 UCB 和 KL-UCB 原理结合，设计两种算法——GLRT-CascadeUCB 和 GLRT-CascadeKL-UCB，用于级联多臂赌博机问题。
• 利用 GLRT 动态检测随时间段变化的用户偏好分布变化，在检测到变化时触发策略重置。
• 使用 UCB 和 KL-UCB 框架维护对项目吸引力的置信区间，并在每次检测到变化点后进行调整。
• 确保后悔分析同时考虑段内探索与段间检测延迟，从而导出紧致的 $\mathcal{O}(\sqrt{NLT\log T})$ 上界。
• 利用级联多臂赌博机的结构特性，即仅观察到排序列表中前几个项目，设计在部分反馈下的高效探索策略。

实验结果

研究问题

• RQ1 无参数的变化点检测机制是否能够提升分段平稳级联多臂赌博机的自适应能力并降低调参负担？
• RQ2 与先前方法相比，基于 GLRT 的检测在多大程度上改善了后悔上界对项目集合大小 $L$ 的依赖关系？
• RQ3 在问题存在极小化最大下界 $\Omega(\sqrt{NLT})$ 的前提下，所提算法在后悔性能上是否近乎最优？
• RQ4 在合成数据和真实数据上，与最先进方法相比，基于 GLRT 的算法在实际表现中如何？
• RQ5 GLRT 是否能够在不预先知晓变化点数量和时间的情况下，有效检测用户偏好的变化？

主要发现

• 所提的 GLRT-CascadeUCB 和 GLRT-CascadeKL-UCB 算法实现了 $\mathcal{O}(\sqrt{NLT\log T})$ 的后悔上界，与极小化最大下界 $\Omega(\sqrt{NLT})$ 在对数因子范围内一致，证明了其近乎最优性。
• 基于 GLRT 的方法消除了对与变化点相关的参数调优的需求，使其比现有方法更具实用性与鲁棒性。
• 与先前工作相比，该算法在后悔上界中对 $L$ 的依赖关系得到改善，避免了在基集规模增大时性能显著下降的问题。
• 在合成数据集和真实数据集上的数值实验表明，所提算法在后悔性能和自适应能力方面均优于最先进方法。
• GLRT 检测器在极少调参的情况下有效识别用户偏好的变化，实现无需预先知晓分段边界的及时策略更新。
• 理论分析证实，所提算法在对数因子范围内达到最优，为其在非平稳环境中的应用提供了坚实的理论基础。