[论文解读] Cold-start Problems in Recommendation Systems via Contextual-bandit Algorithms

Nguyễn Thanh Hải, Jérémie Mary+1 more|arXiv (Cornell University)|May 29, 2014

Advanced Bandit Algorithms Research参考文献 12被引用 8

一句话总结

本文提出A-LinUCB，一种上下文Bandit方法，通过利用历史用户评分作为上下文，无需额外信息即可解决推荐系统中的冷启动问题。该方法在Movielens、Netflix和Yahoo!Music数据集上，相较于基线Bandit算法，在累积遗憾方面表现显著更优，展现出在推荐新用户和新项目时的卓越性能。

ABSTRACT

In this paper, we study a cold-start problem in recommendation systems where we have completely new users entered the systems. There is not any interaction or feedback of the new users with the systems previoustly, thus no ratings are available. Trivial approaches are to select ramdom items or the most popular ones to recommend to the new users. However, these methods perform poorly in many case. In this research, we provide a new look of this cold-start problem in recommendation systems. In fact, we cast this cold-start problem as a contextual-bandit problem. No additional information on new users and new items is needed. We consider all the past ratings of previous users as contextual information to be integrated into the recommendation framework. To solve this type of the cold-start problems, we propose a new efficient method which is based on the LinUCB algorithm for contextual-bandit problems. The experiments were conducted on three different publicly-available data sets, namely Movielens, Netflix and Yahoo!Music. The new proposed methods were also compared with other state-of-the-art techniques. Experiments showed that our new method significantly improves upon all these methods.

研究动机与目标

• 解决推荐系统中因新用户和新项目缺乏交互历史而产生的冷启动问题。
• 开发一种不依赖人口统计学或项目内容等附加信息的方法，以平衡探索与利用。
• 通过动态建模用户偏好，提升用户或项目引入初期的推荐质量。
• 在真实推荐场景中，将所提方法与最先进Bandit算法进行对比评估。

提出的方法

• 作者将冷启动问题建模为上下文Bandit问题，使用所有历史用户评分作为上下文特征。
• 通过引入基于项目特征和历史反馈的线性模型，对LinUCB算法进行改进，以估计用户偏好。
• A-LinUCB引入正则化参数α以控制探索与利用的权衡，其中α=0.001时性能表现更优。
• 该算法维护一个用户偏好的线性模型，并使用随机梯度下降增量式更新。
• 上下文特征源自完整的歷史评分矩阵，将过去的用户-项目交互视为上下文。
• 通过置信区间动态平衡探索（尝试新项目）与利用（推荐高期望回报项目）。

实验结果

研究问题

• RQ1 在无附加信息的情况下，上下文Bandit方法能否有效降低冷启动推荐场景中的累积遗憾？
• RQ2 在新用户和新项目设置下，A-LinUCB与ε-greedy、UCB、EXP3和Thompson采样等标准Bandit算法相比表现如何？
• RQ3 正则化参数α对A-LinUCB算法性能有何影响？
• RQ4 仅依靠历史评分数据是否足以作为充分上下文，以指导冷启动系统中的有效探索与利用？
• RQ5 所提方法在Movielens、Netflix和Yahoo!Music等多样化真实数据集上是否保持强劲性能？

主要发现

• 在Movielens数据集上，α=0.001的A-LinUCB累积遗憾为3008.19，显著低于α=0时的3491.39。
• 在Netflix数据集上，A-LinUCB（α=0.001）将累积遗憾降低至3680，而α=0时为3857。
• 在Yahoo!Music数据集上，改进最为显著，A-LinUCB（α=0.001）的遗憾为989.56，而α=0时为1514.15。
• 所提方法在所有三个数据集上均优于六个基线模型——随机策略、ε-greedy、UCB、EXP3、Thompson采样和A-LinUCB（α=0）。
• 结果表明，利用历史评分作为上下文可实现有效探索，并加速收敛至高质量推荐。
• 该方法在无需人口统计、基于内容或其他附加信息的情况下实现优异性能，适用于数据稀缺场景下的实际部署。