[论文解读] Contextual Bandits for adapting to changing User preferences over time

Dattaraj Rao|arXiv (Cornell University)|Sep 21, 2020

Advanced Bandit Algorithms Research参考文献 9被引用 5

一句话总结

本文提出了一种新颖的上下文Bandit算法，采用一组随机梯度下降（SGD）学习器，每个动作对应一个学习器，以随时间建模动态用户偏好。通过利用在线学习和针对特定动作的模型，该方法在适应用户行为变化方面优于静态模型，在模拟数据集和MovieLens数据集上均表现出更高的奖励预测准确率。

ABSTRACT

Contextual bandits provide an effective way to model the dynamic data problem in ML by leveraging online (incremental) learning to continuously adjust the predictions based on changing environment. We explore details on contextual bandits, an extension to the traditional reinforcement learning (RL) problem and build a novel algorithm to solve this problem using an array of action-based learners. We apply this approach to model an article recommendation system using an array of stochastic gradient descent (SGD) learners to make predictions on rewards based on actions taken. We then extend the approach to a publicly available MovieLens dataset and explore the findings. First, we make available a simplified simulated dataset showing varying user preferences over time and how this can be evaluated with static and dynamic learning algorithms. This dataset made available as part of this research is intentionally simulated with limited number of features and can be used to evaluate different problem-solving strategies. We will build a classifier using static dataset and evaluate its performance on this dataset. We show limitations of static learner due to fixed context at a point of time and how changing that context brings down the accuracy. Next we develop a novel algorithm for solving the contextual bandit problem. Similar to the linear bandits, this algorithm maps the reward as a function of context vector but uses an array of learners to capture variation between actions/arms. We develop a bandit algorithm using an array of stochastic gradient descent (SGD) learners, with separate learner per arm. Finally, we will apply this contextual bandit algorithm to predicting movie ratings over time by different users from the standard Movie Lens dataset and demonstrate the results.

研究动机与目标

• 为解决推荐系统中随时间演变的动态用户偏好建模挑战。
• 开发一种支持在线增量学习的上下文Bandit框架，以实现实时适应。
• 评估静态学习模型在用户偏好发生转变时的局限性。
• 设计并实现一种可扩展的动作基础学习架构，利用SGD学习器以提升奖励预测性能。
• 在自定义模拟数据集和公开的MovieLens数据集上验证该方法。

提出的方法

• 该方法采用一组随机梯度下降（SGD）学习器，每个动作（臂）对应一个学习器，以建模奖励与上下文向量之间的函数关系。
• 每个动作特定的学习器通过在线学习方式增量更新，以适应新数据和变化的用户偏好。
• 该算法基于各动作特定学习器预测的奖励选择动作，从而实现动态适应。
• 引入一个具有时变用户偏好的模拟数据集，用于基准测试静态与动态学习方法。
• 将该方法应用于MovieLens数据集，以预测随时间变化的用户评分，评估在用户行为演变环境下的性能表现。
• 通过比较静态模型与所提出的动态Bandit框架在奖励预测准确率上的差异来评估性能。

实验结果

研究问题

• RQ1 当用户偏好随时间变化时，静态学习模型的表现如何？
• RQ2 一组动作特定的学习器是否能提升上下文Bandit中对用户偏好转变的适应能力？
• RQ3 在线学习对动态环境中奖励预测准确率有何影响？
• RQ4 所提出的Bandit算法与静态模型在真实世界和模拟数据集上的表现相比如何？
• RQ5 动作特定的SGD学习器在多大程度上能够捕捉用户行为的时间变化？

主要发现

• 当用户偏好发生转变时，静态模型因训练时上下文固定而出现显著的准确率下降。
• 所提出的基于动作的SGD学习器数组能有效捕捉用户偏好的时间变化，从而提升奖励预测性能。
• 该动态学习方法在模拟数据集和MovieLens数据集上均优于静态模型。
• 具有时变偏好的模拟数据集可有效用于动态学习策略的基准测试。
• 为每个动作使用独立的学习器，相比共享模型，能更好地建模动作特定的奖励动态。
• 该算法在在线设置中表现出稳健性能，能快速适应新的用户行为模式。