[论文解读] Exploration in Interactive Personalized Music Recommendation: A Reinforcement Learning Approach

Wang Xin-xi, Yi Wang+2 more|arXiv (Cornell University)|Nov 6, 2013

Advanced Bandit Algorithms Research参考文献 32被引用 25

一句话总结

本文提出了一种基于强化学习的多臂赌博机框架，通过结合音频内容与歌曲新颖性的贝叶斯评分函数来建模用户偏好，实现交互式音乐推荐中探索与利用的平衡。该方法采用分段线性近似和变分推理以实现高效的在线学习，显著提升了长期推荐性能，并统一建模了歌曲推荐与播放列表生成。

ABSTRACT

Current music recommender systems typically act in a greedy fashion by recommending songs with the highest user ratings. Greedy recommendation, however, is suboptimal over the long term: it does not actively gather information on user preferences and fails to recommend novel songs that are potentially interesting. A successful recommender system must balance the needs to explore user preferences and to exploit this information for recommendation. This paper presents a new approach to music recommendation by formulating this exploration-exploitation trade-off as a reinforcement learning task called the multi-armed bandit. To learn user preferences, it uses a Bayesian model, which accounts for both audio content and the novelty of recommendations. A piecewise-linear approximation to the model and a variational inference algorithm are employed to speed up Bayesian inference. One additional benefit of our approach is a single unified model for both music recommendation and playlist generation. Both simulation results and a user study indicate strong potential for the new approach.

研究动机与目标

• 解决贪婪推荐系统因长期缺乏探索而导致的性能不佳问题。
• 通过主动收集用户反馈以实现探索，缓解个性化音乐推荐中的冷启动问题。
• 通过联合评分函数将音乐推荐与播放列表生成整合到单一统一模型中。
• 开发高效的推理机制，以实现贝叶斯建模在交互式系统中实时在线更新的可扩展性。

提出的方法

• 将探索-利用权衡问题建模为具有贝叶斯评分模型的多臂赌博机问题。
• 将用户评分建模为基于内容的因子（音频特征）与新颖性因子（重复模式）的乘积。
• 对新颖性模型使用分段线性近似，以实现高效的贝叶斯推理。
• 应用变分推理以加速后验估计，实现在线参数更新。
• 将内容与新颖性因子整合到统一的评分函数中，支持单首歌曲推荐与播放列表生成。
• 在初始模型训练中使用MCMC实现精确推理，在在线适应中采用变分推理以实现可扩展性。

实验结果

研究问题

• RQ1 与贪婪方法相比，基于强化学习、平衡探索与利用的方法是否能显著提升长期音乐推荐性能？
• RQ2 结合音频内容与歌曲新颖性的贝叶斯模型，在捕捉用户偏好动态与重复模式方面是否具有高效率？
• RQ3 分段线性近似在实现实时推理的同时，能在多大程度上保持模型准确性？
• RQ4 单一统一模型是否能有效支持个性化歌曲推荐与播放列表生成？
• RQ5 新颖性建模的引入是否使推荐结果更符合现实用户行为，例如歌曲重复的齐普夫定律？

主要发现

• 基于赌博机的方法通过主动探索用户偏好，显著缓解了冷启动问题，而非依赖贪婪利用。
• 仿真结果证实，该模型通过主动探索在学习用户偏好方面实现了高准确率与高效率。
• 分段线性近似与新颖性模型的解析形式高度吻合，验证了其准确性及在在线学习中的适用性。
• 用户研究表明，所提方法提升了推荐性能，并更准确地捕捉了用户行为，包括符合齐普夫定律的重复模式。
• 统一模型成功支持了单首歌曲推荐与播放列表生成，新颖性因子有效建模了现实世界的收听模式。
• 通过基于乘积的评分函数整合内容与新颖性因子，准确反映了用户偏好，并借助变分方法实现了可扩展的推理。