[论文解读] LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation

Xiangnan He, Kuan Deng+4 more|arXiv (Cornell University)|Feb 6, 2020

Recommender Systems and Techniques参考文献 44被引用 413

一句话总结

LightGCN 通过去除特征转换和非线性激活，仅使用邻居聚合和分层嵌入混合，在协同过滤上明显优于 NGCF。

ABSTRACT

Graph Convolution Network (GCN) has become new state-of-the-art for collaborative filtering. Nevertheless, the reasons of its effectiveness for recommendation are not well understood. Existing work that adapts GCN to recommendation lacks thorough ablation analyses on GCN, which is originally designed for graph classification tasks and equipped with many neural network operations. However, we empirically find that the two most common designs in GCNs -- feature transformation and nonlinear activation -- contribute little to the performance of collaborative filtering. Even worse, including them adds to the difficulty of training and degrades recommendation performance. In this work, we aim to simplify the design of GCN to make it more concise and appropriate for recommendation. We propose a new model named LightGCN, including only the most essential component in GCN -- neighborhood aggregation -- for collaborative filtering. Specifically, LightGCN learns user and item embeddings by linearly propagating them on the user-item interaction graph, and uses the weighted sum of the embeddings learned at all layers as the final embedding. Such simple, linear, and neat model is much easier to implement and train, exhibiting substantial improvements (about 16.0\% relative improvement on average) over Neural Graph Collaborative Filtering (NGCF) -- a state-of-the-art GCN-based recommender model -- under exactly the same experimental setting. Further analyses are provided towards the rationality of the simple LightGCN from both analytical and empirical perspectives.

研究动机与目标

• 证明常见的 GCN 组件（特征变换和非线性激活）对协同过滤的帮助有限。
• 提出一种简化的图卷积方法，聚焦于对用户/物品嵌入的邻居聚合。
• 在相同实验设置下，展示 LightGCN 相对于 NGCF 的经验提升。
• 分析为何线性、简洁的设计在推荐任务中表现良好。

提出的方法

• 对用户和物品使用 ID 嵌入，在用户-物品交互图上传播，采用简单双对称归一化的聚合。
• 通过统一或简单加权求和将所有传播层的嵌入组合，形成最终的用户/物品表示。
• 通过最终用户与物品嵌入的内积来预测交互。
• 仅对初始层嵌入进行训练，使用贝叶斯个性化排序（BPR）损失和 Adam 优化。
• 提供矩阵形式，显示 E^(k+1) = D^(-1/2) A D^(-1/2) E^(k) 且最终 E 作为各层嵌入之和。

实验结果

研究问题

• RQ1 在使用 GCN 的协同过滤中，特征变换和非线性激活能否提升性能？
• RQ2 是否可以保留仅邻域聚合的更轻量模型，超越如 NGCF 这样的更重的基于 GCN 的 CF 模型？
• RQ3 在标准数据集上，多层 LightGCN 与单层 MF 和 NGCF 的对比如何？
• RQ4 在协同过滤的长程传播中，层的组合在缓解过平滑方面发挥何种作用？
• RQ5 LightGCN 是否更易训练和分析，同时提供具有竞争力或更优的性能？

主要发现

• LightGCN 在 Gowalla、Yelp2018 和 Amazon-Book 数据集上，在 recall@20 和 ndcg@20 指标持续优于 NGCF。
• 移除特征变换和非线性激活有助于 NGCF，当两者都移除时收益更大（NGCF-fn 优于 NGCF）。
• 从 1 层增加到 3 层，性能提升但收益递减；3 层通常能提供强结果。
• 层级组合（对所有层的嵌入求和）捕捉自连接效应，提升表征能力且不增加额外复杂性。
• LightGCN 相较于 NGCF 具有更低的训练损失和更好的泛化，在多个数据集上相对提升显著（例如 recall/ndcg 提升约 16-17%）。
• 该模型的线性、简化设计提供可解释性和易训练性，同时在其实验设置中超过了最先进的基线。