[论文解读] SVD-GCN: A Simplified Graph Convolution Paradigm for Recommendation

Shaowen Peng, Kazunari Sugiyama+1 more|arXiv (Cornell University)|Aug 26, 2022

Recommender Systems and Techniques被引用 7

一句话总结

SVD-GCN 通过用截断奇异值分解（SVD）替代邻域聚合，提出了一种简化的图卷积推荐范式，仅保留最大的 K 个奇异向量以实现高效率并缓解过平滑问题。该方法在三个真实世界数据集上的表现优于当前最先进方法，相较于 LightGCN 的推理速度提升超过 100 倍，相较于 MF 的推理速度提升超过 10 倍。

ABSTRACT

With the tremendous success of Graph Convolutional Networks (GCNs), they have been widely applied to recommender systems and have shown promising performance. However, most GCN-based methods rigorously stick to a common GCN learning paradigm and suffer from two limitations: (1) the limited scalability due to the high computational cost and slow training convergence; (2) the notorious over-smoothing issue which reduces performance as stacking graph convolution layers. We argue that the above limitations are due to the lack of a deep understanding of GCN-based methods. To this end, we first investigate what design makes GCN effective for recommendation. By simplifying LightGCN, we show the close connection between GCN-based and low-rank methods such as Singular Value Decomposition (SVD) and Matrix Factorization (MF), where stacking graph convolution layers is to learn a low-rank representation by emphasizing (suppressing) components with larger (smaller) singular values. Based on this observation, we replace the core design of GCN-based methods with a flexible truncated SVD and propose a simplified GCN learning paradigm dubbed SVD-GCN, which only exploits $K$-largest singular vectors for recommendation. To alleviate the over-smoothing issue, we propose a renormalization trick to adjust the singular value gap, resulting in significant improvement. Extensive experiments on three real-world datasets show that our proposed SVD-GCN not only significantly outperforms state-of-the-arts but also achieves over 100x and 10x speedups over LightGCN and MF, respectively.

研究动机与目标

• 为解决基于 GCN 的推荐系统中的可扩展性与过平滑问题。
• 通过分析 LightGCN，揭示使 GCN 在推荐任务中有效的根本机制。
• 提出一种简化、高效且可扩展的 GCN 学习范式，避免迭代消息传递。
• 在保持或提升推荐性能的同时，减少模型参数量与训练成本。
• 基于低秩矩阵分解原理，提供一种理论基础坚实的 GCN 方法替代方案。

提出的方法

• 将基于 GCN 的方法的核心设计替换为一种灵活的截断 SVD，仅保留用户-物品交互矩阵的 K 个最大奇异向量。
• 引入重归一化技巧以调整奇异值差距，防止过平滑并保留关键的协同信号。
• 在不增加模型参数的前提下，利用用户-用户和物品-物品关系，增强特征表示。
• 理论分析表明，堆叠 GCN 层等价于学习一个强调大奇异值的低秩表示。
• 使用标准推荐损失函数，通过随机梯度下降端到端训练模型。
• 通过直接计算 SVD 得到的低秩近似，避免了迭代消息传递。

实验结果

研究问题

• RQ1 使基于 GCN 的模型在推荐任务中有效的根本机制是什么？
• RQ2 尽管性能良好，为何基于 GCN 的模型仍会遭受过平滑和可扩展性差的问题？
• RQ3 GCN 中的核心消息传递机制能否被更高效、更可解释的替代方案所取代？
• RQ4 仅最大的奇异值在多大程度上对推荐性能有贡献？
• RQ5 基于 SVD 的简单方法是否能在准确性和效率两方面超越复杂的 GCN 架构？

主要发现

• SVD-GCN 相较于 LightGCN 实现了超过 100 倍的速度提升，显著提高了训练效率。
• 与传统的矩阵分解（MF）方法相比，SVD-GCN 实现了超过 10 倍的速度提升。
• 在三个真实世界推荐数据集上，SVD-GCN 的准确率优于当前最先进方法。
• 实证分析表明，交互矩阵中超过 95% 的信息是噪声，可被安全移除而不引起性能下降。
• 重归一化技巧通过调整奇异值差距，有效缓解了过平滑问题，保留了关键的协同信号。
• 仅使用 K 个最大奇异向量（K 小于 MF 参数量的 1%）即可达到最优性能，证明了其极高的参数效率。