[论文解读] Contrastive Learning for Recommender System

Zhuang Liu, Yunpu Ma+2 more|arXiv (Cornell University)|Jan 5, 2021

Recommender Systems and Techniques参考文献 38被引用 44

一句话总结

引入图对比学习和去偏对比损失以提升基于GNN的推荐系统，并缓解选择与采样偏差；在三个数据集上对比多种基线显示出改进。

ABSTRACT

Recommender systems, which analyze users' preference patterns to suggest potential targets, are indispensable in today's society. Collaborative Filtering (CF) is the most popular recommendation model. Specifically, Graph Neural Network (GNN) has become a new state-of-the-art for CF. In the GNN-based recommender system, message dropout is usually used to alleviate the selection bias in the user-item bipartite graph. However, message dropout might deteriorate the recommender system's performance due to the randomness of dropping out the outgoing messages based on the user-item bipartite graph. To solve this problem, we propose a graph contrastive learning module for a general recommender system that learns the embeddings in a self-supervised manner and reduces the randomness of message dropout. Besides, many recommender systems optimize models with pairwise ranking objectives, such as the Bayesian Pairwise Ranking (BPR) based on a negative sampling strategy. However, BPR has the following problems: suboptimal sampling and sample bias. We introduce a new debiased contrastive loss to solve these problems, which provides sufficient negative samples and applies a bias correction probability to alleviate the sample bias. We integrate the proposed framework, including graph contrastive module and debiased contrastive module with several Matrix Factorization(MF) and GNN-based recommendation models. Experimental results on three public benchmarks demonstrate the effectiveness of our framework.

研究动机与目标

• 通过减少信息传递中的选择偏差来提高GNN式推荐系统的表示质量。
• 解决基于BPR的优化中的次优负采样与采样偏差问题。
• 提出一个将图对比学习与去偏对比损失结合的通用框架。
• 展示该框架在多种基线模型和数据集上的改进。

提出的方法

• 提出一个图对比学习（GCL）模块，在用户周围（以及可选地在物品周围）对L跳子图进行扰动，并最大化两种扰动之间的一致性。
• 引入去偏对比损失（DCL），提供额外的负样本并引入一个偏差修正概率tau+以降低采样偏差。
• 将L_GCL与L_DCL在端到端目标函中结合，配合L2正则化并使用Adam进行训练。
• 在对比损失中使用带温度参数(t1, t2)的余弦相似度并对嵌入进行归一化。
• 将同一小批中的其他用户和物品视为负样本，以促进嵌入空间的均匀性与可分离性。
• 通过将GCL+DCL替换各自损失，将该框架应用到多种基线推荐模型（MF、DMF、GCN、GC-MC、PinSage、NGCF、LR-GCCF、LightGCN）中。

实验结果

研究问题

• RQ1 RQ1: 提出的框架是否可应用于通用与基准的推荐系统算法？
• RQ2 RQ2: 各组成部分（图扰动、去偏损失）对性能的贡献如何？
• RQ3 RQ3: 该框架在效率上是否优于现有的最先进模型？
• RQ4 RQ4: 框架对超参数如tau+和图扰动p的鲁棒性如何？

主要发现

• 该框架在 Yelp2018、Amazon-Book 和 Steam 数据集上对基线模型持续带来改进。
• 图扰动与去偏对比损失显著提升了 MF、DMF 等基础模型的表现，在 Yelp2018 上获得较大相对增益。
• LightGCN 及其变体等最先进模型也能受益，在若干数据集上取得了领先结果。
• MF/DMF 切换到 GCL+DCL 时取得显著提升（如某些数据集上 recall@20 与 ndcg@20 的提升约为30%至60%）。
• GCN++、GC-MC++、LR-GCCF++ 与 LightGCN++ 等变体在各数据集上持续优于其基础对应物。