[论文解读] Less is More: Reweighting Important Spectral Graph Features for Recommendation

Shaowen Peng, Kazunari Sugiyama+1 more|arXiv (Cornell University)|Apr 24, 2022

Recommender Systems and Techniques被引用 5

一句话总结

本文提出了一种图去噪编码器（GDE），仅重新加权最重要的谱图特征——邻域平滑性和差异性——以替代基于GCN的推荐系统中的传统邻域聚合。通过充当带通滤波器，GDE 消除噪声，避免过度平滑化，并在五个真实世界数据集上实现最先进性能，训练速度比 LightGCN 快 12 倍。

ABSTRACT

As much as Graph Convolutional Networks (GCNs) have shown tremendous success in recommender systems and collaborative filtering (CF), the mechanism of how they, especially the core components ( extit{i.e.,} neighborhood aggregation) contribute to recommendation has not been well studied. To unveil the effectiveness of GCNs for recommendation, we first analyze them in a spectral perspective and discover two important findings: (1) only a small portion of spectral graph features that emphasize the neighborhood smoothness and difference contribute to the recommendation accuracy, whereas most graph information can be considered as noise that even reduces the performance, and (2) repetition of the neighborhood aggregation emphasizes smoothed features and filters out noise information in an ineffective way. Based on the two findings above, we propose a new GCN learning scheme for recommendation by replacing neihgborhood aggregation with a simple yet effective Graph Denoising Encoder (GDE), which acts as a band pass filter to capture important graph features. We show that our proposed method alleviates the over-smoothing and is comparable to an indefinite-layer GCN that can take any-hop neighborhood into consideration. Finally, we dynamically adjust the gradients over the negative samples to expedite model training without introducing additional complexity. Extensive experiments on five real-world datasets show that our proposed method not only outperforms state-of-the-arts but also achieves 12x speedup over LightGCN.

研究动机与目标

• 研究图卷积网络（GCNs）如何提升推荐性能，特别是邻域聚合的作用。
• 识别在数据稀疏性条件下对推荐准确率最有帮助的谱图特征。
• 解决重复邻域聚合在强调噪声和过度平滑化特征方面的低效性。
• 设计一种更简单、更高效的基于GCN的协同过滤替代方案，同时保持或提升性能。
• 通过在负样本上动态调整梯度，加速训练，而不增加模型复杂度。

提出的方法

• 该方法从谱视角分析GCNs，通过将邻接矩阵分解为谱特征，以分离出有意义的分量。
• 识别出仅一小部分谱特征——强调邻域平滑性和差异性的特征——能显著提升推荐准确率。
• 提出一种图去噪编码器（GDE），作为带通滤波器，有选择性地仅保留最具信息量的谱特征，丢弃噪声。
• GDE 替代了GCN中的标准邻域聚合机制，无需通过深层堆叠来捕捉高阶连通性。
• 采用自适应损失函数，动态调整负样本上的梯度大小，以加速训练过程中的收敛。
• 使用随机优化端到端训练模型，无需额外的非线性变换或嵌入转换。

实验结果

研究问题

• RQ1 哪些谱图特征对提升推荐准确率最具影响力？
• RQ2 为何堆叠多层GCN能提升性能，且该机制是否高效？
• RQ3 能否用更有效、更高效的机制替代邻域聚合，同时保留关键图信号？
• RQ4 如何在不增加模型复杂度的前提下，加速基于GCN的推荐系统训练收敛？
• RQ5 能否通过简化架构实现优于深层GCN变体的性能，同时显著提升速度？

主要发现

• 仅一小部分谱特征——特别是强调邻域平滑性和差异性的特征——显著贡献于推荐准确率。
• 大多数谱特征充当噪声并降低性能，与‘所有图信息都有用’的假设相矛盾。
• GCN中重复的邻域聚合会过度强调平滑性特征，同时对噪声过滤不足，导致过度平滑化和效率低下。
• 所提出的图去噪编码器（GDE）通过直接捕捉关键谱特征而无需堆叠层，实现了与深层GCN模型相当或更优的性能。
• 该方法在五个真实世界推荐数据集上，训练速度比 LightGCN 快 12 倍，同时优于最先进基线模型。
• 对负样本进行动态梯度调整可显著加速训练收敛，且未引入额外模型复杂度。