[论文解读] DJ-MC: A Reinforcement-Learning Agent for Music Playlist Recommendation

Elad Liebman, Maytal Saar‐Tsechansky+1 more|arXiv (Cornell University)|Jan 9, 2014

Music and Audio Processing参考文献 22被引用 9

一句话总结

DJ-MC 是一种强化学习智能体，通过实时建模个人歌曲偏好和歌曲过渡偏好，生成个性化音乐播放列表。它通过在 25–50首歌曲内在线学习用户偏好，显著提升了听众满意度，相较于标准的仅基于歌曲的推荐系统表现更优。

ABSTRACT

In recent years, there has been growing focus on the study of automated recommender systems. Music recommendation systems serve as a prominent domain for such works, both from an academic and a commercial perspective. A fundamental aspect of music perception is that music is experienced in temporal context and in sequence. In this work we present DJ-MC, a novel reinforcement-learning framework for music recommendation that does not recommend songs individually but rather song sequences, or playlists, based on a model of preferences for both songs and song transitions. The model is learned online and is uniquely adapted for each listener. To reduce exploration time, DJ-MC exploits user feedback to initialize a model, which it subsequently updates by reinforcement. We evaluate our framework with human participants using both real song and playlist data. Our results indicate that DJ-MC's ability to recommend sequences of songs provides a significant improvement over more straightforward approaches, which do not take transitions into account.

研究动机与目标

• 为解决个性化音乐推荐中的空白，不仅建模单个歌曲偏好，还建模歌曲过渡偏好。
• 开发一种实时、自适应的推荐系统，能够在初始信息极少的情况下在线学习用户偏好。
• 评估建模歌曲序列（播放列表）是否能带来优于孤立推荐歌曲的听众体验。
• 证明强化学习框架能够有效从有限用户反馈中学习整体播放列表偏好。

提出的方法

• 将播放列表推荐建模为使用马尔可夫决策过程（MDP）的序列决策问题，其中状态表示有序的歌曲序列，动作是选择下一首歌曲。
• 通过结合单个歌曲奖励和连续歌曲之间过渡奖励的奖励函数来建模用户偏好。
• 使用在线学习根据实时用户反馈更新偏好模型，实现对新用户的快速适应。
• 利用早期听歌会话中的用户反馈初始化偏好模型，以减少探索时间。
• 采用自助重抽样和统计分析方法，在多个用户研究中评估性能。
• 利用真实用户参与提供的真实世界音乐和播放列表数据，验证框架在真实场景中的有效性。

实验结果

研究问题

• RQ1 在建模单个歌曲偏好之外，是否加入歌曲过渡偏好能带来更优的播放列表推荐？
• RQ2 强化学习智能体是否能在仅 25–50首歌曲的用户交互中学习到个性化播放列表偏好？
• RQ3 在用户满意度方面，序列感知推荐与仅基于歌曲的推荐相比表现如何？
• RQ4 用户反馈在多大程度上可用于初始化和优化播放列表生成的偏好模型？

主要发现

• DJ-MC 通过考虑过渡偏好，显著优于仅基于歌曲的推荐基线，显著提升了听众满意度。
• 该框架即使在无用户先验知识的情况下，也能在单次听歌会话（25–50首歌曲）内有效学习播放列表偏好。
• 用户研究表明，序列感知推荐在累积歌曲奖励和过渡奖励方面带来微小但统计显著的提升。
• 自助重抽样得到的直方图显示，性能提升在多个用户会话中保持一致，尤其在听歌会话的后半段（第 25–50首歌曲）更为明显。
• 结果与仿真发现一致，证明在真实世界场景中建模过渡能有效提升推荐质量。