[论文解读] Deep Content-User Embedding Model for Music Recommendation

Jongpil Lee, Kyungyun Lee+3 more|arXiv (Cornell University)|Jul 18, 2018

Music and Audio Processing参考文献 16被引用 7

一句话总结

本文提出了一种深度内容-用户嵌入模型，通过端到端的方式联合学习用户-物品交互行为与原始音频特征，以解决音乐推荐中的冷启动问题。通过将用户嵌入与深度音频表征在统一架构中结合，该模型在音乐推荐和自动标签生成任务上均取得了当前最优性能，显著优于以往的混合模型。

ABSTRACT

Recently deep learning based recommendation systems have been actively explored to solve the cold-start problem using a hybrid approach. However, the majority of previous studies proposed a hybrid model where collaborative filtering and content-based filtering modules are independently trained. The end-to-end approach that takes different modality data as input and jointly trains the model can provide better optimization but it has not been fully explored yet. In this work, we propose deep content-user embedding model, a simple and intuitive architecture that combines the user-item interaction and music audio content. We evaluate the model on music recommendation and music auto-tagging tasks. The results show that the proposed model significantly outperforms the previous work. We also discuss various directions to improve the proposed model further.

研究动机与目标

• 通过联合建模用户-物品交互行为与原始音频内容，解决音乐推荐中的冷启动问题。
• 克服现有混合模型因分别训练协同过滤与基于内容的过滤模块而导致的次优性能。
• 设计一种端到端深度学习架构，有效弥合非结构化音频与用户行为数据之间的语义鸿沟。
• 在音乐推荐与音乐自动标签生成任务上评估模型，以证明其泛化能力与鲁棒性。
• 探索能超越传统混合方法的架构与训练策略选择，以提升模型性能。

提出的方法

• 使用查表式嵌入层对用户进行编码，以在大规模用户索引下降低计算成本。
• 在物品端，原始音频特征通过深度神经网络（如CNN或类似结构）处理，以提取高层表征，而无需依赖预标注标签。
• 通过逐元素乘法或拼接操作将用户与物品嵌入结合，随后通过多层感知机（MLP）预测交互得分。
• 采用点损失或成对损失函数进行端到端训练，并使用负采样策略以提升优化效果。
• 该架构保留了矩阵分解的归纳偏置，同时支持跨模态的联合优化。
• 在两个任务上对模型进行评估：音乐推荐（使用AUC）与音乐自动标签生成（使用AUC），并与WMF、WMF+回归模型及基线深度模型进行比较。

实验结果

研究问题

• RQ1 能否通过端到端深度学习模型，联合学习用户-物品交互行为与原始音频特征，从而超越现有混合模型（后者分别训练协同过滤与基于内容的过滤模块）？
• RQ2 损失函数选择与训练策略如何影响在混合模态下的音乐推荐性能？
• RQ3 端到端学习在多大程度上能够弥合非结构化音频与隐式用户反馈之间的语义鸿沟？
• RQ4 所提出的模型在辅助任务（如音乐自动标签生成）上是否表现出良好泛化能力，表明其具备稳健的特征学习能力？
• RQ5 哪些架构选择（如嵌入层设计或模态融合方式）在冷启动场景下对性能影响最为显著？

主要发现

• 所提出的深度内容-用户嵌入模型在音乐推荐任务上取得了0.7914的AUC，显著优于基线模型WMF+回归（AUC 0.6967）。
• 在音乐自动标签生成任务上，模型取得0.8450的AUC，优于WMF基线（AUC 0.8683）与WMF+回归模型（AUC 0.7876），表明其在辅助任务上具备强大泛化能力。
• 消融实验表明，若将音频输入替换为物品索引嵌入，AUC降至0.7832，说明性能提升主要源于端到端优化策略，而非输入模态本身。
• 模型的优越性能归因于其端到端训练策略，以及对损失函数与训练过程的精心设计，使用户偏好与音频内容更好地对齐。
• 结果表明，该模型通过在学习过程中直接利用原始音频特征，有效缓解了新物品的冷启动问题。
• 本研究指出，未来改进方向可包括使用原始隐式反馈、探索更先进的音频模型，以及将架构扩展至包含艺术家简介、专辑图片等额外模态的多视图学习。