[论文解读] LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation

Xuheng Cai, Chao Huang+2 more|arXiv (Cornell University)|Feb 16, 2023

Recommender Systems and Techniques被引用 99

一句话总结

LightGCL 提出了一种简单的基于 SVD 指导的图对比学习数据增强，在推荐系统中避免随机扰动，并提升鲁棒性和效率。它在多个真实数据集上实现了最先进的结果。

ABSTRACT

Graph neural network (GNN) is a powerful learning approach for graph-based recommender systems. Recently, GNNs integrated with contrastive learning have shown superior performance in recommendation with their data augmentation schemes, aiming at dealing with highly sparse data. Despite their success, most existing graph contrastive learning methods either perform stochastic augmentation (e.g., node/edge perturbation) on the user-item interaction graph, or rely on the heuristic-based augmentation techniques (e.g., user clustering) for generating contrastive views. We argue that these methods cannot well preserve the intrinsic semantic structures and are easily biased by the noise perturbation. In this paper, we propose a simple yet effective graph contrastive learning paradigm LightGCL that mitigates these issues impairing the generality and robustness of CL-based recommenders. Our model exclusively utilizes singular value decomposition for contrastive augmentation, which enables the unconstrained structural refinement with global collaborative relation modeling. Experiments conducted on several benchmark datasets demonstrate the significant improvement in performance of our model over the state-of-the-arts. Further analyses demonstrate the superiority of LightGCL's robustness against data sparsity and popularity bias. The source code of our model is available at https://github.com/HKUDS/LightGCL.

研究动机与目标

• 在数据稀疏和噪声存在的条件下，推动对推荐的鲁棒图对比学习。
• 引入基于奇异值分解（SVD）的轻量级数据增强方案，以注入全局协同信号。
• 将基于 SVD 的增强与简化的对比学习目标整合，以提升表征质量。
• 分析对数据稀疏性、流行偏差和过平滑的鲁棒性。
• 展示与现有基于 GCL 的方法相比的效率提升。

提出的方法

• 采用两层 GCN 主体来捕捉局部用户-物品交互。
• 对交互图进行 SVD 指导的数据增强，以注入全局协同结构（通过随机化 SVD 实现可扩展性）。
• 从 SVD 重构的图中构建一个增强视图，并对主视图执行 InfoNCE 对比。
• 预计算 SVD 分量（Uq、Sq、Vq）以提高效率，并使用带 dropout 的双视图对比学习进行正则化。
• 联合优化推荐损失、用户和物品的对比损失以及 L2 正则化项。
• 给出复杂度分析，显示相对于三视图对比学习方法的训练成本下降。

Figure 1: Overall structure of LightGCL.

实验结果

研究问题

• RQ1 LightGCL 相对于标准基线在常规推荐基准上的表现如何？
• RQ2 基于 SVD 的增强是否在保持高效训练的同时改善对数据稀疏和流行偏差的鲁棒性？
• RQ3 不同超参数（lambda1、tau、q）对性能的影响是什么？
• RQ4 局部-全局对比学习组件如何促进性能？
• RQ5 LightGCL 是否对过平滑具有鲁棒性，嵌入是否保持有意义的结构？

主要发现

• LightGCL 在五个数据集上，在 Recall@20、Recall@40、NDCG@20、NDCG@40 等指标始终优于所列所有对比基线。
• 基于 SVD 的增强提供鲁棒的全球结构信号，提升对比学习信号在嘈杂的用户-物品交互中的表现。
• LightGCL 显示出更高的训练效率，因低秩图重构带来较低的每批次复杂度和有利的预处理成本。
• 消融研究表明基于 SVD 的增强有效，基于 MF 的替代方案不及 LightGCL 的 SVD 变体。
• 超参数分析表明在 tau 的一系列取值下性能稳定，而较小的 q（秩）即可（q=5）。
• 相较于 HCCF 和 SimGCL，LightGCL 展示出对数据稀疏性和流行偏见的鲁棒性。

Figure 2: Performance on users of different sparsity degrees, in terms of Recall (histograms) and relative Recall w.r.t overall performances (charts).