[论文解读] Deoscillated Graph Collaborative Filtering

Zhiwei Liu, Lin Meng+3 more|arXiv (Cornell University)|Nov 4, 2020

Recommender Systems and Techniques参考文献 28被引用 6

一句话总结

该论文提出了一种新型图神经网络推荐模型——去振荡自适应图协同过滤（Deoscillated Adaptive Graph Collaborative Filtering, DGCF），旨在解决多层图协同过滤中的三个关键问题：由二部图结构引起的振荡、节点局部性差异以及固定的传播模式。DGCF 引入了跨跳传播（Cross-Hop Propagation, CHP）层以消除信息流中的振荡，并设计了局部自适应（Locality-Adaptive, LA）层，根据节点密度动态调整传播范围，实现逐层自适应聚合。大量实验表明，DGCF 在多个数据集和深度设置下均优于当前最先进模型，展现出更强的鲁棒性与更低的过平滑现象。

ABSTRACT

Collaborative Filtering (CF) signals are crucial for a Recommender System~(RS) model to learn user and item embeddings. High-order information can alleviate the cold-start issue of CF-based methods, which is modelled through propagating the information over the user-item bipartite graph. Recent Graph Neural Networks~(GNNs) propose to stack multiple aggregation layers to propagate high-order signals. However, the oscillation problem, varying locality of bipartite graph, and the fix propagation pattern spoil the ability of multi-layer structure to propagate information. The oscillation problem results from the bipartite structure, as the information from users only propagates to items. Besides oscillation problem, varying locality suggests the density of nodes should be considered in the propagation process. Moreover, the layer-fixed propagation pattern introduces redundant information between layers. In order to tackle these problems, we propose a new RS model, named as extbf{D}eoscillated extbf{G}raph extbf{C}ollaborative extbf{F}iltering~(DGCF). We introduce cross-hop propagation layers in it to break the bipartite propagating structure, thus resolving the oscillation problem. Additionally, we design innovative locality-adaptive layers which adaptively propagate information. Stacking multiple cross-hop propagation layers and locality layers constitutes the DGCF model, which models high-order CF signals adaptively to the locality of nodes and layers. Extensive experiments on real-world datasets show the effectiveness of DGCF. Detailed analyses indicate that DGCF solves oscillation problem, adaptively learns local factor, and has layer-wise propagation pattern. Our code is available online at https://github.com/JimLiu96/DeosciRec.

研究动机与目标

• 正式定义并分析多层图神经网络在用户-物品二部图上应用时的振荡问题。
• 解决二部图中节点局部性差异带来的挑战，即低度数节点因信息传播不足而受到影响。
• 克服现有图神经网络中固定的传播模式，该模式导致层间信息流冗余且低效。
• 设计一种深层、自适应的图神经网络框架，在保持高阶协同过滤信号的同时，缓解过平滑与冷启动问题。

提出的方法

• 提出跨跳传播（CHP）层，不仅聚合直接邻居的信息，还聚合跨跳邻居的信息（例如，用户通过物品聚合其他用户的信息），从而打破由二部图结构引发的振荡。
• 引入局部自适应（LA）层，为每个节点学习一个特定的影响力因子 α，根据局部图密度控制信息传播的范围。
• 将多个 CHP 与 LA 层堆叠形成 DGCF 框架，通过可学习的、逐层独立的权重实现动态的、逐层自适应的传播模式。
• 结合归一化拉普拉斯矩阵与可学习的影响力因子，定义传播矩阵，实现对稀疏与密集区域的自适应聚合。
• 采用可微训练过程，支持 CHP 与 LA 层的端到端联合学习，避免使用非可微采样策略。
• 通过在用户-物品二部图上传播协同过滤信号，将模型应用于用户与物品嵌入学习。

实验结果

研究问题

• RQ1 多层图神经网络在二部图上是否存在振荡问题？其理论边界是什么？
• RQ2 用户-物品图中节点局部性的变化如何影响信息传播？是否可以实现自适应补偿？
• RQ3 逐层自适应传播模式能否提升深度图神经网络在推荐任务中的性能，并减少过平滑现象？
• RQ4 与现有基于图神经网络的推荐系统模型相比，DGCF 在多大程度上缓解了振荡问题？

主要发现

• DGCF 在四个真实世界数据集（ML-1M、Yelp、Amazon 和 Last.FM）上达到最先进性能，优于 NGCF、LightGCN 和 SGL 等现有模型。
• 消融实验表明 CHP 与 LA 组件均不可或缺：仅使用 CHP 的 DGCF-chp 和仅使用 LA 的 DGCF-la 均显著优于基线模型。
• DGCF 在深层架构（最高达 16 层）下保持稳定性能，而 LightGCN 和 NGCF 等模型则出现过平滑与性能下降，表明 DGCF 具有更强的深度鲁棒性。
• 学习到的影响力因子 α 与节点度密度之间具有强相关性（用户 ρ = 0.578，物品 ρ = 0.835），证实 LA 层能根据局部图结构自适应平衡传播范围。
• 传播模式可视化显示，DGCF 的聚合模式随层数演化——早期层传播范围较广，深层则逐渐聚焦于关键边，体现出显著的逐层自适应特性。
• 平滑度度量显示，DGCF 的平滑度高于采用固定传播模式的模型，表明其过平滑现象更少，训练动态更稳定。