[论文解读] Graph Neural Pre-training for Enhancing Recommendations using Side Information

Zaiqiao Meng, Siwei Liu+2 more|arXiv (Cornell University)|Jul 8, 2021

Recommender Systems and Techniques参考文献 61被引用 8

一句话总结

本文提出了一种基于图神经网络（GNN）的新型预训练方案，通过利用用户和商品的辅助信息来增强推荐系统。该方法提出了GCN-P与COM-P两种模型，分别基于单重关系图和多重关系图对实体嵌入进行预训练，随后在现有推荐模型上进行微调，从而在多个数据集和基线模型上显著提升了推荐效果与稳定性。

ABSTRACT

Leveraging the side information associated with entities (i.e. users and items) to enhance the performance of recommendation systems has been widely recognized as an important modelling dimension. While many existing approaches focus on the integration scheme to incorporate entity side information -- by combining the recommendation loss function with an extra side information-aware loss -- in this paper, we propose instead a novel pre-training scheme for leveraging the side information. In particular, we first pre-train a representation model using the side information of the entities, and then fine-tune it using an existing general representation-based recommendation model. Specifically, we propose two pre-training models, named GCN-P and COM-P, by considering the entities and their relations constructed from side information as two different types of graphs respectively, to pre-train entity embeddings. For the GCN-P model, two single-relational graphs are constructed from all the users' and items' side information respectively, to pre-train entity representations by using the Graph Convolutional Networks. For the COM-P model, two multi-relational graphs are constructed to pre-train the entity representations by using the Composition-based Graph Convolutional Networks. An extensive evaluation of our pre-training models fine-tuned under four general representation-based recommender models, i.e. MF, NCF, NGCF and LightGCN, shows that effectively pre-training embeddings with both the user's and item's side information can significantly improve these original models in terms of both effectiveness and stability.

研究动机与目标

• 通过利用丰富的辅助信息来缓解推荐系统中用户-物品交互数据稀疏的问题。
• 克服现有推荐模型在联合损失优化训练下存在的不稳定性和超参数敏感性问题。
• 通过利用辅助信息对实体嵌入进行更优初始化来提升推荐性能。
• 探究在辅助信息图上进行预训练是否能带来更稳定且更有效的下游推荐结果。
• 提供一种可泛化的预训练框架，适用于任何基于表征的推荐模型。

提出的方法

• 从用户和商品的辅助信息（如年龄组、类型等）构建单重关系图用于GCN-P，利用图卷积网络学习实体嵌入。
• 构建捕捉多样化实体特征与关系的多重关系图用于COM-P，利用基于组合的图卷积网络建模复杂交互。
• 在辅助信息图上使用GNN对实体嵌入进行预训练，随后在标准推荐模型上进行微调。
• 使用四种通用推荐模型（MF、NCF、NGCF和LightGCN）对预训练嵌入进行微调。
• 采用两阶段训练流程：先在辅助信息图上进行预训练，再在用户-物品交互数据上进行端到端微调。
• 通过在50个随机种子下的NDCG及其标准差评估性能，以衡量模型的有效性与稳定性。

实验结果

研究问题

• RQ1 能否通过在辅助信息图上预训练实体嵌入来提升下游推荐模型的有效性？
• RQ2 所提出的预训练方案是否能提升不同随机初始化下的模型稳定性？
• RQ3 在性能与鲁棒性方面，单重关系图（GCN-P）与多重关系图（COM-P）的构建方式有何差异？
• RQ4 在交互稀疏程度不同的数据集中，预训练对性能的提升程度如何？
• RQ5 该预训练框架是否可在不修改模型架构的前提下泛化至不同推荐模型？

主要发现

• 所提出的预训练方案在所有数据集上均一致提升了四种基线推荐模型（MF、NCF、NGCF、LightGCN）的NDCG表现。
• 基于多重关系图的COM-P模型在所有评估指标上均优于GCN-P模型，表明更丰富的关系建模可提升初始化质量。
• 在Epinions数据集上，该预训练方案相较最先进基线模型在NDCG@10上实现了48%的性能提升。
• 在Foursquare数据集上，NDCG@10的提升达到21%，表明在真实世界稀疏场景下具有显著增益。
• 该预训练方法显著降低了50次运行中的性能方差，标准差大幅减小，证实了模型稳定性的提升。
• 在不同嵌入维度与不同排名截断点（k）下，性能增益保持一致，表明在多种推荐场景下均具有鲁棒性。