[论文解读] A Linear Bandit for Seasonal Environments

Giuseppe Di Benedetto, Vito Bellini+1 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Bandit Algorithms Research参考文献 33被引用 4

一句话总结

本文提出 All-Season，一种上下文线性 bandit 算法，可在非平稳、季节性环境中检测突变，并利用过去平稳状态提升学习效率。通过维护多个基础 bandit 学习器并根据近期表现动态加权，该方法在合成与真实世界推荐任务中均优于最先进算法，尤其在重复出现的季节性模式下表现更优。

ABSTRACT

Contextual bandit algorithms are extremely popular and widely used in recommendation systems to provide online personalised recommendations. A recurrent assumption is the stationarity of the reward function, which is rather unrealistic in most of the real-world applications. In the music recommendation scenario for instance, people's music taste can abruptly change during certain events, such as Halloween or Christmas, and revert to the previous music taste soon after. We would therefore need an algorithm which can promptly react to these changes. Moreover, we would like to leverage already observed rewards collected during different stationary periods which can potentially reoccur, without the need of restarting the learning process from scratch. A growing literature has addressed the problem of reward's non-stationarity, providing algorithms that could quickly adapt to the changing environment. However, up to our knowledge, there is no algorithm which deals with seasonal changes of the reward function. Here we present a contextual bandit algorithm which detects and adapts to abrupt changes of the reward function and leverages previous estimations whenever the environment falls back to a previously observed state. We show that the proposed method can outperform state-of-the-art algorithms for non-stationary environments. We ran our experiment on both synthetic and real datasets.

研究动机与目标

• 解决现有上下文 bandit 算法假设奖励函数平稳的局限性，该假设在音乐流媒体等现实应用中并不现实。
• 应对非平稳、周期性重复的奖励函数挑战，其中奖励模式会突然改变并在时间上重复出现。
• 通过重用先前学习到的平稳状态，实现在不从头开始重新训练的情况下高效适应变化。
• 通过检测变化点并利用重复环境中的历史数据，提升现实世界推荐系统的表现。
• 开发一种稳健且可扩展的算法，适用于大规模、动态推荐平台的工业级部署。

提出的方法

• 维护一组基础 bandit 学习器，每个学习器均在奖励函数的特定平稳状态下进行训练。
• 根据近期观测数据源自其对应平稳状态的可能性，为每个基础学习器分配动态权重。
• 使用短期记忆 bandit 检测向先前未见奖励状态的转变，触发新基础学习器的创建。
• 采用广义贝叶斯方法计算后验预测权重，以提升模型误设情况下的鲁棒性。
• 可与任意基础算法（如线性 Thompson 采样）集成，实现模块化与可扩展设计。
• 应用剪枝策略以控制计算成本，未来可通过贝叶斯核心集进一步优化。

实验结果

研究问题

• RQ1 上下文 bandit 算法能否在重用先前观测到的平稳状态知识的同时，有效检测奖励函数中的突变？
• RQ2 利用季节性模式的模型在真实世界与合成环境中，相较于最先进非平稳 bandit 算法，性能如何？
• RQ3 当奖励函数再次出现时，所提方法在多大程度上可通过避免从头重新训练来减少遗憾与探索成本？
• RQ4 在复杂真实场景中，该算法对模型误设与变化点检测错误的鲁棒性如何？
• RQ5 短期记忆机制的集成能否实现对先前未观测到的新奖励状态的检测？

主要发现

• All-Season (Disc) 在 MNIST 和 Fashion-MNIST 数据集的所有设置下均优于所有基线模型，包括 SW-LinTS 和 D-LinTS，在 MNIST 二臂任务中分别实现了 0.77 ± 0.01（常规）、0.74 ± 0.02（现实）和 0.77 ± 0.01（极端）的平均奖励。
• 在数字识别任务中，All-Season (Disc) 在常规设置下实现了 0.74 ± 0.01 的平均奖励，显著优于 SW-LinTS（0.36 ± 0.00）和 DenBand（0.33 ± 0.00）。
• 在物品识别任务中，All-Season (Disc) 在常规设置下保持了 0.49 ± 0.02 的平均奖励，优于 SW-LinTS（0.35 ± 0.01）和 BoB（0.32 ± 0.00）。
• All-Season (Disc) 变体始终优于 All-Season (SW)，表明离散加权机制在季节性适应方面比基于滑动窗口的加权更有效。
• All-Season 在极端和现实设置中表现出卓越的鲁棒性与稳定性，与基线相比性能下降极小。
• 在存在突变且重复出现的变化场景中，该算法实现了显著的性能提升，证明其在音乐推荐等现实季节性环境中的有效性。