[论文解读] Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems

Hongwei Wang, Fuzheng Zhang+5 more|arXiv (Cornell University)|May 11, 2019

Advanced Graph Neural Networks参考文献 36被引用 25

一句话总结

该论文提出KGNN-LS，一种知识感知图神经网络，通过可学习的评分函数动态加权知识图谱关系，学习用户特定的物品嵌入，同时通过标签平滑正则化约束边权重，提升泛化能力。该方法在四个数据集上优于最先进基线模型，尤其在交互稀疏的冷启动场景中表现优异。

ABSTRACT

Knowledge graphs capture structured information and relations between a set of entities or items. As such knowledge graphs represent an attractive source of information that could help improve recommender systems. However, existing approaches in this domain rely on manual feature engineering and do not allow for an end-to-end training. Here we propose Knowledge-aware Graph Neural Networks with Label Smoothness regularization (KGNN-LS) to provide better recommendations. Conceptually, our approach computes user-specific item embeddings by first applying a trainable function that identifies important knowledge graph relationships for a given user. This way we transform the knowledge graph into a user-specific weighted graph and then apply a graph neural network to compute personalized item embeddings. To provide better inductive bias, we rely on label smoothness assumption, which posits that adjacent items in the knowledge graph are likely to have similar user relevance labels/scores. Label smoothness provides regularization over the edge weights and we prove that it is equivalent to a label propagation scheme on a graph. We also develop an efficient implementation that shows strong scalability with respect to the knowledge graph size. Experiments on four datasets show that our method outperforms state of the art baselines. KGNN-LS also achieves strong performance in cold-start scenarios where user-item interactions are sparse.

研究动机与目标

• 通过利用结构化知识图谱（KG）信息，解决推荐系统中的冷启动问题。
• 通过将人工特征工程替换为可学习的关系评分函数，实现在知识感知推荐中的端到端训练。
• 通过标签平滑正则化知识图谱中的边权重，提升低数据场景下的泛化能力。
• 在保持高推荐准确率的同时，实现对大规模知识图谱的高效扩展。
• 在单一可训练图神经网络框架中统一建模语义物品关系与用户特定偏好。

提出的方法

• 训练一个用户特定的关系评分函数，根据用户偏好动态分配知识图谱边的权重，将知识图谱转化为个性化加权图。
• 在用户特定的加权知识图谱上应用图神经网络（GNN），聚合邻域信息并计算物品嵌入。
• 引入标签平滑正则化，假设知识图谱中相邻物品具有相似的用户相关性评分，从而作为边权重的正则化项。
• 证明标签平滑约束等价于图上的标签传播机制，提升对稀疏监督的鲁棒性。
• 采用留一法损失函数训练关系评分函数，确保与用户-物品交互信号的一致性。
• 通过反向传播端到端训练模型，实现用户偏好、边权重与物品表征的联合优化。

实验结果

研究问题

• RQ1 可学习的、用户特定的关系评分函数是否能提升知识感知推荐系统中个性化物品表征学习的效果？
• RQ2 当边权重从稀疏用户-物品交互中学习时，标签平滑正则化如何增强泛化能力？
• RQ3 KGNN-LS在全量数据与冷启动推荐场景下，相较于现有最先进方法的性能提升程度如何？
• RQ4 该方法在知识图谱规模增大时的可扩展性如何？
• RQ5 标签平滑的引入是否使异质知识图谱中的边权重学习更加稳定与鲁棒？

主要发现

• 在MovieLens-20M数据集上，KGNN-LS在仅使用20%训练数据时达到最高AUC 0.979，优于所有基线模型，包括RippleNet和CKE。
• 在冷启动场景中，当训练数据减少至20%时，KGNN-LS的AUC仅下降1.8%，而SVD和LibFM分别下降8.4%和5.9%。
• 模型在1–2层GNN时表现最佳，更深的网络（L=4）导致过平滑与性能崩溃。
• 在MovieLens-20M上，隐藏维度d=64时性能最优，R@10达到0.155；当d超过64时，性能因过拟合而下降。
• KGNN-LS展现出强大的可扩展性，即使知识图谱规模扩大五倍，运行时间仍呈线性增长，在训练效率上优于基线模型。
• 标签平滑正则化显著提升了边权重学习效果，表现为模型对稀疏监督的鲁棒性增强，且AUC与R@10持续提升。