[论文解读] Bandits Warm-up Cold Recommender Systems

Jérémie Mary, Romaric Gaudel+1 more|arXiv (Cornell University)|Jul 10, 2014

Advanced Bandit Algorithms Research被引用 5

一句话总结

该论文提出 BeWARE，一种基于上下文Bandit的算法，将批量矩阵分解转化为在线、顺序决策框架，以解决推荐系统中无辅助信息时的冷启动问题。通过利用用户和项目潜在因子的置信区间进行不确定性探索，BeWARE有效平衡了探索与利用，在 Netflix 和 MovieLens 等真实数据集上优于贪婪基线方法，尤其在早期推荐阶段表现更优。

ABSTRACT

We address the cold start problem in recommendation systems assuming no contextual information is available neither about users, nor items. We consider the case in which we only have access to a set of ratings of items by users. Most of the existing works consider a batch setting, and use cross-validation to tune parameters. The classical method consists in minimizing the root mean square error over a training subset of the ratings which provides a factorization of the matrix of ratings, interpreted as a latent representation of items and users. Our contribution in this paper is 5-fold. First, we explicit the issues raised by this kind of batch setting for users or items with very few ratings. Then, we propose an online setting closer to the actual use of recommender systems; this setting is inspired by the bandit framework. The proposed methodology can be used to turn any recommender system dataset (such as Netflix, MovieLens,...) into a sequential dataset. Then, we explicit a strong and insightful link between contextual bandit algorithms and matrix factorization; this leads us to a new algorithm that tackles the exploration/exploitation dilemma associated to the cold start problem in a strikingly new perspective. Finally, experimental evidence confirm that our algorithm is effective in dealing with the cold start problem on publicly available datasets. Overall, the goal of this paper is to bridge the gap between recommender systems based on matrix factorizations and those based on contextual bandits.

研究动机与目标

• 解决在用户或项目无上下文信息时推荐系统中的冷启动问题。
• 弥合基于传统矩阵分解的推荐系统与在线、顺序决策框架（如上下文Bandit）之间的差距。
• 设计一种高效、在线的算法，在用户与项目交互的初始阶段实现探索与利用的平衡。
• 评估基于不确定性的探索策略在提升早期推荐性能方面的有效性。
• 实现此类算法在真实世界大规模网络应用中的实际部署，且计算开销极低。

提出的方法

• 通过模拟用户-项目交互顺序，将静态的批量矩阵分解数据集（如 MovieLens、Netflix）转化为顺序决策流。
• 应用上下文Bandit框架，其中每个用户和项目由矩阵分解中的潜在向量表示，动作对应于项目推荐。
• 利用潜在因子估计不确定性的置信区间来引导探索——优先选择评分较少的项目或用户。
• 实现两种变体：BeWARE.Item（基于项目不确定性进行探索）和 BeWARE.User（基于用户不确定性进行探索）。
• 采用交替最小二乘法（ALS-WR）进行矩阵分解，并通过增量更新保持各时间步的计算成本较低。
• 通过将潜在因子视为上下文、置信区间视为探索信号，建立矩阵分解与上下文Bandit之间的系统性联系。

实验结果

研究问题

• RQ1 在无辅助信息的情况下，能否有效将上下文Bandit框架适配于推荐系统中的冷启动问题？
• RQ2 在潜在因子空间中基于不确定性的探索，相较于贪婪或均匀探索，在早期推荐性能上表现如何？
• RQ3 在冷启动场景中，基于项目不确定性探索与基于用户不确定性探索的影响有何差异？
• RQ4 所提方法的遗憾（regret）在真实数据集中随项目数和用户数如何变化？
• RQ5 在线Bandit适应的计算成本能否保持足够低，以支持大规模网络系统的实时部署？

主要发现

• BeWARE.Item（基于项目不确定性探索）在 Netflix 和 MovieLens 数据集上始终优于贪婪基线及其他探索策略。
• 在 Netflix 数据集中，BeWARE.User 是唯一被其贪婪对应方法（Greedy.ALS-WR）超越的变体，表明用户级不确定性在早期探索中可能效果较差。
• UCB.on.all.users 在 Netflix 上表现出人意料的好，这是由于该数据集聚焦于前250部热门大片，用户偏好高度相关，降低了个性化探索的需求。
• BeWARE 的遗憾随分解维度变化，而非项目数量，因此在大型项目目录中比全局UCB策略更具可扩展性。
• BeWARE 的计算成本几乎等同于一次 ALS-WR 迭代，支持通过增量更新实现高效的在线部署。
• 实验结果证实，基于不确定性的探索显著提升了早期推荐性能，验证了该算法在真实世界冷启动场景中的有效性。