[论文解读] Metadata Embeddings for User and Item Cold-start Recommendations

Maciej Kula|arXiv (Cornell University)|Jul 30, 2015

Recommender Systems and Techniques参考文献 22被引用 79

一句话总结

该论文提出 LightFM，一种混合矩阵分解模型，通过将用户和物品表示为其内容特征嵌入的线性组合，实现有效的冷启动推荐。在数据稀疏场景下，其性能优于纯协同过滤和基于内容的模型，并生成语义上合理的特征嵌入，适用于相关任务（如标签推荐）。

ABSTRACT

I present a hybrid matrix factorisation model representing users and items as linear combinations of their content features' latent factors. The model outperforms both collaborative and content-based models in cold-start or sparse interaction data scenarios (using both user and item metadata), and performs at least as well as a pure collaborative matrix factorisation model where interaction data is abundant. Additionally, feature embeddings produced by the model encode semantic information in a way reminiscent of word embedding approaches, making them useful for a range of related tasks such as tag recommendations.

研究动机与目标

• 解决大规模推荐系统中用户-物品交互数据稀疏情况下的冷启动推荐挑战。
• 克服纯协同过滤（在稀疏数据下表现差）和基于内容的过滤（缺乏跨用户迁移学习能力）的局限性。
• 开发一种统一模型，在用户和物品元数据的基础上，同时在冷启动和热启动设置下表现良好。
• 生成编码语义信息的特征嵌入，以支持下游任务（如标签推荐）。

提出的方法

• 将用户和物品表示为其内容特征（如“denim”+“jacket”=“denim jacket”）所对应的潜在向量的线性组合。
• 使用矩阵分解学习特征的潜在表示，使协同信号能够影响特征相似性。
• 通过结合协同和基于内容信号的混合目标函数进行模型训练，实现用户和物品之间的迁移学习。
• 采用在线学习方法，使用 Adagrad 逐步更新嵌入，以应对新用户交互和新特征的到达。
• 使用随机投影树（Random Projection trees）进行近似最近邻搜索，高效地从大规模商品目录中检索相似物品。
• 集成深度学习（CNN）从产品图像中提取视觉特征，并将这些特征作为二值标签输入模型。

实验结果

研究问题

• RQ1 结合协同和基于内容信号的混合模型是否能提升冷启动推荐场景下的性能？
• RQ2 从协同数据中学习的特征嵌入是否相比传统基于内容的方法能提升语义表示质量？
• RQ3 该模型能否在交互数据极少的新用户和新物品上实现有效泛化？
• RQ4 在不同数据稀疏程度下（从冷启动到热启动），模型的性能表现如何？
• RQ5 学习到的特征嵌入是否可复用于辅助任务（如标签推荐）？

主要发现

• 当存在协同数据或包含用户元数据时，LightFM 在冷启动场景下优于纯基于内容的模型，尤其在数据稀疏时表现更优。
• 在数据密集的场景下，该模型性能至少与纯协同矩阵分解模型相当，表明其在不同数据稀疏水平下均具备鲁棒性。
• LightFM 学习到的特征嵌入捕捉了有意义的语义关系，可有效用于相关任务（如标签推荐）。
• 该模型支持在线学习，允许在不重新训练的情况下增量更新，这对具有持续数据流的生产系统至关重要。
• 使用随机投影树的近似最近邻搜索可确保在包含 800 万件商品的目录中实现可扩展且可预测的性能。
• 集成 CNN 提取的视觉标签可提升特征丰富度，但建议未来采用视觉与推荐模型的端到端联合训练以进一步优化。