[论文解读] Algorithms for Non-Stationary Generalized Linear Bandits

Yoan Russac, Olivier Cappé+1 more|arXiv (Cornell University)|Mar 23, 2020

Advanced Bandit Algorithms Research参考文献 18被引用 10

一句话总结

该论文提出了两种上置信度界（UCB）算法——SW-GLUCB 和 D-GLUCB——用于非平稳广义线性 bandit 问题，分别采用滑动窗口和折扣最大似然估计器来适应环境参数的突变。其关键理论贡献是首次建立了高概率动态遗憾界，形式为 $ d^{2/3} \ Gamma_T^{1/3} T^{2/3} $，其中 $ d $ 为参数维度，$ T $ 为时间范围，$ \Gamma_T $ 为断点数量。

ABSTRACT

The statistical framework of Generalized Linear Models (GLM) can be applied to sequential problems involving categorical or ordinal rewards associated, for instance, with clicks, likes or ratings. In the example of binary rewards, logistic regression is well-known to be preferable to the use of standard linear modeling. Previous works have shown how to deal with GLMs in contextual online learning with bandit feedback when the environment is assumed to be stationary. In this paper, we relax this latter assumption and propose two upper confidence bound based algorithms that make use of either a sliding window or a discounted maximum-likelihood estimator. We provide theoretical guarantees on the behavior of these algorithms for general context sequences and in the presence of abrupt changes. These results take the form of high probability upper bounds for the dynamic regret that are of order d^2/3 G^1/3 T^2/3 , where d, T and G are respectively the dimension of the unknown parameter, the number of rounds and the number of breakpoints up to time T. The empirical performance of the algorithms is illustrated in simulated environments.

研究动机与目标

• 为解决现有广义线性 bandit 算法假设环境平稳的局限性，该假设在新闻推荐或在线医疗等实际应用中往往不现实。
• 开发可在底层奖励生成参数 $ \theta^\star $ 发生突变时自适应的算法，且无需事先知晓变化点位置。
• 在时间变化参数的非平稳环境中，为动态遗憾提供理论保证，尤其关注突变情形。
• 通过利用广义线性模型在非平稳设置下的非线性结构，提升线性 bandit 基线（如 LinUCB）和逻辑 UCB 的性能。

提出的方法

• 提出 SW-GLUCB，采用固定大小的滑动窗口计算 $ \theta^\star $ 的最大似然估计，通过丢弃过时数据来实现对变化的适应。
• 提出 D-GLUCB，通过折扣因子对历史观测施加指数递减权重，逐步遗忘旧数据，以适应演化中的参数。
• 在广义线性模型框架下采用基于惩罚最大似然估计的上置信度界（UCB）策略，置信区间由浓度不等式推导。
• 使用时间依赖的动作集 $ \mathcal{A}_t \subset \mathbb{R}^d $，允许动作被对抗性选择，且不要求上下文向量满足独立同分布假设。
• 引入惩罚估计器以避免先前工作中存在的初始化问题，无需对初始数据施加强假设。
• 理论分析在一般上下文序列和突变条件下推导出高概率动态遗憾界，明确体现了对 $ d $、$ T $ 和 $ \Gamma_T $ 的依赖关系。

实验结果

研究问题

• RQ1 能否将基于 UCB 的广义线性 bandit 算法改进以处理 $ \theta^\star $ 参数发生突变的非平稳环境？
• RQ2 当真实参数随时间演化时，滑动窗口与折扣估计方法在性能和适应性方面如何比较？
• RQ3 在非平稳广义线性 bandit 设置下，此类自适应算法可实现的理论动态遗憾界是什么？
• RQ4 所提出的算法是否能在模拟和真实非平稳环境中均优于标准线性 bandit 和逻辑 UCB 基线？

主要发现

• 所提出的 SW-GLUCB 和 D-GLUCB 算法实现了高概率动态遗憾界 $ d^{2/3} \Gamma_T^{1/3} T^{2/3} $，这是首个针对具有突变的非平稳广义线性 bandit 问题的此类结果。
• 实验结果表明，SW-GLUCB 和 D-GLUCB 能够在各变化点准确追踪演化中的参数 $ \theta^\star $，而 LinUCB 和 LogisticUCB 无法适应并发生发散。
• 在具有多个变化点的二维模拟环境中，SW-GLUCB 和 D-GLUCB 在每次变化后均能收敛至真实参数，而 LinUCB 和 LogisticUCB 即使在长时间平稳期后也无法恢复。
• 在真实世界 Pima Indian Diabetes 数据集上，于 $ t = 1000 $ 处人为引入非平稳性后，SW-GLUCB 和 D-GLUCB 比平稳基线更快恢复分类性能。
• 滑动窗口与折扣方法均优于线性 bandit 基线（SW-LinUCB），尽管 SW-GLUCB 和 D-GLUCB 因正确建模了逻辑链接函数而表现更优。
• 即使奖励分布并非完全符合逻辑模型（存在模型误设），SW-GLUCB 和 D-GLUCB 仍保持稳健性能，表明其在真实应用中的实用价值。