[论文解读] A Robust Hierarchical Graph Convolutional Network Model for Collaborative Filtering

Shaowen Peng, Tsunenori Mine|arXiv (Cornell University)|Apr 30, 2020

Recommender Systems and Techniques参考文献 47被引用 7

一句话总结

该论文提出了一种鲁棒分层图卷积网络（RH-GCCF）用于协同过滤，通过分层聚合多阶邻居消息并应用逐层消息丢弃策略，提升了基于GCN的推荐性能，有效缓解了过平滑和过拟合问题。该模型在稀疏数据集上表现尤为出色，在CiteULike数据集上的NDCG@20指标相比基线模型提升了24.43%，达到当前最先进水平。

ABSTRACT

Graph Convolutional Network (GCN) has achieved great success and has been applied in various fields including recommender systems. However, GCN still suffers from many issues such as training difficulties, over-smoothing, vulnerable to adversarial attacks, etc. Distinct from current GCN-based methods which simply employ GCN for recommendation, in this paper we are committed to build a robust GCN model for collaborative filtering. Firstly, we argue that recursively incorporating messages from different order neighborhood mixes distinct node messages indistinguishably, which increases the training difficulty; instead we choose to separately aggregate different order neighbor messages with a simple GCN model which has been shown effective; then we accumulate them together in a hierarchical way without introducing additional model parameters. Secondly, we propose a solution to alleviate over-smoothing by randomly dropping out neighbor messages at each layer, which also well prevents over-fitting and enhances the robustness. Extensive experiments on three real-world datasets demonstrate the effectiveness and robustness of our model.

研究动机与目标

• 解决基于GCN的协同过滤中训练困难、过平滑以及对对抗攻击敏感的问题。
• 通过区分并分别聚合来自不同阶邻居的消息，提升表征学习能力。
• 通过逐层随机丢弃邻居消息，减少过拟合与过平滑现象。
• 在不显著增加模型复杂度的前提下，提升模型在数据稀疏性和对抗噪声下的鲁棒性。

提出的方法

• 利用独立的GCN层，分层聚合来自一阶、二阶及更高阶邻居的消息，避免不同阶消息的不可区分混合。
• 各阶邻居的消息通过标准GCN独立聚合，随后以无参数的逐元素相加方式在分层结构中进行融合。
• 引入逐层消息丢弃策略，即在每个GCN层随机丢弃邻居消息，以防止过平滑与过拟合。
• 通过二值掩码操作实现分层聚合，避免引入额外可学习参数，从而保持模型简洁。
• 通过在多跳传播中保留结构信息，设计架构以在稀疏数据中维持性能，避免全图传播。
• 采用标准优化方法进行端到端训练，并在高斯噪声、数据稀疏性和边删除攻击下评估模型鲁棒性。

实验结果

研究问题

• RQ1 分层聚合多阶邻居消息是否能在不增加模型复杂度的前提下，提升基于GCN的协同过滤性能？
• RQ2 逐层消息丢弃策略是否能有效减少基于GCN的推荐模型中的过平滑与过拟合？
• RQ3 在高斯噪声和边删除等对抗攻击下，所提模型的性能表现如何？
• RQ4 在传统GCN性能下降的稀疏数据集中，该模型能否保持优异性能？

主要发现

• 在三个数据集中最稀疏的CiteULike数据集上，该模型相比最佳基线模型在NDCG@20指标上实现了24.43%的提升，展现出在稀疏数据上的强大性能。
• 在更密集的Movielens数据集上，该模型仍实现了NDCG@20指标2.24%的性能提升，表明其在不同数据稀疏程度下均具有一致优势。
• 在高斯噪声和数据稀疏性攻击下，该模型均优于NGCF和LR-GCCF，性能下降更小，验证了其鲁棒性。
• 逐层消息丢弃策略在性能上持续优于无丢弃基线和仅使用一阶邻居的模型，验证了其有效性。
• RH-GCCF的训练时间仅为标准GCN的1.34倍，表明尽管采用分层设计，其计算开销仍可接受。
• 当网络层数超过最优深度时，模型性能出现下降，表明过度的消息传播会引入噪声并降低收益。