[论文解读] Contrastive Learning for Cold-Start Recommendation

Yinwei Wei, Xiang Wang+5 more|arXiv (Cornell University)|Jul 12, 2021

Recommender Systems and Techniques参考文献 52被引用 13

一句话总结

该论文提出CLCRec，一种对比学习框架，通过最大化项目内容特征与协同嵌入之间的互信息，以提升冷启动推荐效果。通过联合优化用户-项目交互信号与内容表征，CLCRec在四个数据集上的暖启动与冷启动推荐任务中均取得了最先进性能。

ABSTRACT

Recommending cold-start items is a long-standing and fundamental challenge in recommender systems. Without any historical interaction on cold-start items, CF scheme fails to use collaborative signals to infer user preference on these items. To solve this problem, extensive studies have been conducted to incorporate side information into the CF scheme. Specifically, they employ modern neural network techniques (e.g., dropout, consistency constraint) to discover and exploit the coalition effect of content features and collaborative representations. However, we argue that these works less explore the mutual dependencies between content features and collaborative representations and lack sufficient theoretical supports, thus resulting in unsatisfactory performance. In this work, we reformulate the cold-start item representation learning from an information-theoretic standpoint. It aims to maximize the mutual dependencies between item content and collaborative signals. Specifically, the representation learning is theoretically lower-bounded by the integration of two terms: mutual information between collaborative embeddings of users and items, and mutual information between collaborative embeddings and feature representations of items. To model such a learning process, we devise a new objective function founded upon contrastive learning and develop a simple yet effective Contrastive Learning-based Cold-start Recommendation framework(CLCRec). In particular, CLCRec consists of three components: contrastive pair organization, contrastive embedding, and contrastive optimization modules. It allows us to preserve collaborative signals in the content representations for both warm and cold-start items. Through extensive experiments on four publicly accessible datasets, we observe that CLCRec achieves significant improvements over state-of-the-art approaches in both warm- and cold-start scenarios.

研究动机与目标

• 为解决冷启动推荐的根本挑战，即新项目缺乏历史交互记录，因而无法从协同过滤中受益。
• 克服现有方法在理论基础不足或未能有效建模内容特征与协同信号之间依赖关系方面的局限。
• 从信息论视角重新构想冷启动项目表征学习，最大化协同嵌入与项目内容表征之间的互信息。
• 开发一种简单而有效的框架，同时在暖启动与冷启动项目中保留协同信号于基于内容的表征中。
• 为通过互信息最大化在内容表征中保留协同知识提供理论依据。

提出的方法

• 将冷启动表征学习重新表述为最大化协同嵌入（U-I）与内容表征（R-E）之间互信息，基于信息论基础。
• 提出一种基于对比学习的目标函数，通过正样本与负样本挖掘，联合优化U-I与R-E的互信息。
• 设计三模块框架：对比对组织、对比嵌入网络与对比优化模块，从用户-项目交互与内容特征中构建正负样本对。
• 采用对比损失（如InfoNCE）拉近语义相似的表征（正样本对），推开不相似的表征（负样本对），防止梯度消失。
• 通过联合嵌入空间整合内容特征与协同信号，实现协同知识向冷启动项目的迁移。
• 采用困难负样本挖掘以提升优化稳定性与表征质量，增强模型泛化能力。

实验结果

研究问题

• RQ1 在协同嵌入与内容表征之间最大化互信息是否能有效提升冷启动推荐效果？
• RQ2 对比学习如何帮助在基于内容的表征中保留冷启动项目的协同信号？
• RQ3 联合优化用户-项目交互信号与内容特征是否能在暖启动与冷启动场景下均带来更好的性能？
• RQ4 通过互信息建模内容与协同信号之间依赖关系的理论优势是什么？
• RQ5 在冷启动项目上的性能与泛化能力方面，CLCRec与基于鲁棒性与基于约束的方法相比如何？

主要发现

• 在四个公开数据集上，CLCRec在暖启动与冷启动推荐场景中均显著优于现有最先进基线方法。
• 模型在AUC与NDCG指标上取得显著提升，证明了对比学习在将协同信号迁移至冷启动项目方面的有效性。
• 困难负样本挖掘提升了训练稳定性与性能，证实了对比优化在避免梯度消失方面的优势。
• 理论分析表明，表征学习目标下界由U-I与R-E互信息之和决定，为该方法提供了坚实基础。
• CLCRec成功地在内容表征中保留了协同信号，使无历史交互记录的项目也能实现准确预测。
• 实证结果验证了最大化内容与协同信号之间互信息，可带来对未见（冷启动）项目的优越泛化能力。