[论文解读] Automatic, Personalized, and Flexible Playlist Generation using Reinforcement Learning

Shun-Yao Shih, Heng‐Yu Chi|arXiv (Cornell University)|Sep 11, 2018

Music and Audio Processing参考文献 17被引用 4

一句话总结

本文提出了一种基于强化学习的框架，通过在语言建模设置下将播放列表建模为序列，实现自动、个性化且灵活的音乐播放列表生成。该系统采用经过策略梯度优化的注意力增强RNN语言模型，结合用户特定的奖励函数，生成连贯、多样、新颖且具备趋势感知能力的播放列表，充分契合个体用户偏好，相较于基线方法展现出更优的灵活性与性能。

ABSTRACT

Songs can be well arranged by professional music curators to form a riveting playlist that creates engaging listening experiences. However, it is time-consuming for curators to timely rearrange these playlists for fitting trends in future. By exploiting the techniques of deep learning and reinforcement learning, in this paper, we consider music playlist generation as a language modeling problem and solve it by the proposed attention language model with policy gradient. We develop a systematic and interactive approach so that the resulting playlists can be tuned flexibly according to user preferences. Considering a playlist as a sequence of words, we first train our attention RNN language model on baseline recommended playlists. By optimizing suitable imposed reward functions, the model is thus refined for corresponding preferences. The experimental results demonstrate that our approach not only generates coherent playlists automatically but is also able to flexibly recommend personalized playlists for diversity, novelty and freshness.

研究动机与目标

• 为在线音乐流媒体服务中大规模手动创建动态个性化播放列表的挑战提供解决方案。
• 实现能够适应多样化用户偏好的自动播放列表生成，如多样性、新颖性与歌曲新鲜度。
• 开发一种灵活的系统，通过可定制的奖励函数实现实时调节播放列表属性。
• 克服传统统计方法与协同过滤方法在处理隐式用户偏好及小样本数据集方面的局限性。

提出的方法

• 将音乐播放列表生成问题建模为序列预测问题，将歌曲视为序列中的词语。
• 基于用户-歌曲二部图中的基线播放列表，使用k近邻检索方法，对注意力机制RNN语言模型（AC-RNN-LM）进行预训练。
• 使用用户特定的奖励函数（涵盖多样性、新颖性与发行年份）进行策略梯度强化学习微调。
• 通过奖励函数的加权组合（如Distinct-1用于多样性，新颖性得分用于原创性，发行年份用于新鲜度）优化策略。
• 提出一种奖励函数设计策略，通过使用归一化或近似度量避免序列长度带来的偏差。
• 通过调整奖励函数权重的超参数（如新颖性对应的γ₂），实现对播放列表属性的灵活调控。

实验结果

研究问题

• RQ1 强化学习能否有效应用于生成反映用户在多样性、新颖性与新鲜度方面偏好的个性化音乐播放列表？
• RQ2 与传统统计方法相比，基于注意力机制的RNN序列建模方法在捕捉播放列表序列连贯性方面表现如何？
• RQ3 奖励函数在多大程度上可被设计以控制特定播放列表属性（如艺术家多样性或歌曲新近度）？
• RQ4 当同时优化多个相互冲突的目标时，系统能否保持性能与连贯性？
• RQ5 奖励函数的选择在多大程度上影响模型生成高质量、与用户需求一致的播放列表的能力，同时避免引入偏差？

主要发现

• 所提方法生成的播放列表在连贯性与个性化方面表现优异，在所有评估指标（包括多样性、新颖性与新鲜度）上均优于基线模型（Embedding与AC-RNN-LM）。
• 当仅使用单一奖励函数（如RL-DIST）进行优化时，模型成功生成了具有更高独特艺术家数量的播放列表，在Distinct-1指标上表现更优。
• 通过调节奖励权重γ₂，可系统性地调整模型的新颖性得分，证明了其在不同用户偏好范围内的可控性。
• 即使在同时优化多个目标（如多样性与新颖性）的情况下，模型生成的播放列表质量仍优于单目标基线模型。
• 采用RL-NOVELTY训练的模型成功检索到较少人听过的歌曲，证实其具备生成新颖且不热门内容的能力。
• 采用RL-YEAR训练的模型生成的播放列表发行年份早于基线模型，证实其在时间新鲜度控制方面的有效性。