[论文解读] GraphSW: a training protocol based on stage-wise training for GNN-based Recommender Model

Chang-You Tai, Meng-Ru Wu+2 more|arXiv (Cornell University)|Aug 13, 2019

Advanced Graph Neural Networks被引用 4

一句话总结

GraphSW 是一种分阶段训练协议，通过迭代、渐进式地在训练中逐步引入知识图谱（KG）信息，从而提升基于图神经网络（GNN）的推荐模型性能。通过分阶段训练知识图谱实体的子集并迁移学习到的嵌入表示，GraphSW 提升了模型性能，并使高阶 GNN 模型（如 KGCN）实现收敛，尤其在邻居采样规模较小时和增加跳数时表现更优。

ABSTRACT

Recently, researchers utilize Knowledge Graph (KG) as side information in recommendation system to address cold start and sparsity issue and improve the recommendation performance. Existing KG-aware recommendation model use the feature of neighboring entities and structural information to update the embedding of currently located entity. Although the fruitful information is beneficial to the following task, the cost of exploring the entire graph is massive and impractical. In order to reduce the computational cost and maintain the pattern of extracting features, KG-aware recommendation model usually utilize fixed-size and random set of neighbors rather than complete information in KG. Nonetheless, there are two critical issues in these approaches: First of all, fixed-size and randomly selected neighbors restrict the view of graph. In addition, as the order of graph feature increases, the growth of parameter dimensionality of the model may lead the training process hard to converge. To solve the aforementioned limitations, we propose GraphSW, a strategy based on stage-wise training framework which would only access to a subset of the entities in KG in every stage. During the following stages, the learned embedding from previous stages is provided to the network in the next stage and the model can learn the information gradually from the KG. We apply stage-wise training on two SOTA recommendation models, RippleNet and Knowledge Graph Convolutional Networks (KGCN). Moreover, we evaluate the performance on six real world datasets, Last.FM 2011, Book-Crossing,movie, LFM-1b 2015, Amazon-book and Yelp 2018. The result of our experiments shows that proposed strategy can help both models to collect more information from the KG and improve the performance. Furthermore, it is observed that GraphSW can assist KGCN to converge effectively in high-order graph feature.

研究动机与目标

• 解决高阶 GNN 推荐模型中存在的计算成本高和模型无法收敛的问题。
• 克服 KG 增强型模型中固定大小、随机邻居采样策略的局限性，这些策略限制了信息获取并影响训练稳定性。
• 通过分阶段系统性地整合 KG 信息，提升 KGCN 和 RippleNet 的性能与收敛性。
• 探究重采样策略与分阶段训练是否能增强模型在多样化数据集上的鲁棒性与可扩展性。
• 通过缓解参数爆炸与噪声累积问题，实现对更深 GNN 模型的训练，以支持更高阶特征。

提出的方法

• 提出一种分阶段训练框架，每个阶段处理知识图谱中的一组实体子集。
• 将前一阶段学习到的实体嵌入表示迁移至下一阶段，实现信息的渐进积累。
• 每阶段采用固定大小的邻居采样，但各阶段采样的邻居不同，以探索不同的图结构。
• 将该协议应用于 KGCN 和 RippleNet，在不同跳数和邻居采样规模下进行训练。
• 仅在阶段间迁移 KG 表示（而非完整模型参数），以保持训练稳定性和性能。
• 优化超参数（如邻居采样大小和跳数），以评估在不同数据集上的性能提升。

实验结果

研究问题

• RQ1 在仅使用有限 KG 信息的情况下，分阶段训练协议是否能提升基于 GNN 的推荐模型性能？
• RQ2 通过分阶段训练实现渐进式信息聚合，是否有助于 KGCN 和 RippleNet 等模型在更高跳数下实现更好的收敛？
• RQ3 与标准的固定采样策略相比，邻居采样大小在使用 GraphSW 时如何影响模型性能？
• RQ4 GraphSW 是否能缓解因参数维度增加和高阶图特征中噪声累积导致的 KGCN 非收敛问题？
• RQ5 仅在阶段间迁移 KG 嵌入表示，是否比迁移完整模型参数更能保持模型性能？

主要发现

• 在所有六个数据集上，GraphSW 显著提升了 KGCN 和 RippleNet 的 AUC 性能，尤其在 Last.FM 2011 数据集上，于第 4 跳时平均提升高达 34.8%。
• 在使用 GraphSW 时，KGCN 在较小的邻居采样规模（如 16）下达到最佳性能，表明在有限但渐进的邻居访问下，模型具备更优的特征学习能力。
• 对于 KGCN，GraphSW 即使在第 4 跳时也能实现稳定训练并获得性能增益，而标准训练因参数爆炸和噪声问题无法收敛。
• 在 Yelp 2018 数据集上，GraphSW 将 KGCN 的 AUC 从标准训练的 0.8720 提升至 0.9038（第 4 跳），证明其在大规模 KG 中的有效性。
• 仅迁移 KG 表示的阶段间传递策略优于迁移完整模型参数，证实了保留学习到的 KG 嵌入表示的重要性。
• RippleNet 在使用较大邻居采样规模时从 GraphSW 中获益最多，而 KGCN 在较小采样规模下表现最佳，凸显了两种模型在特征聚合机制上的架构差异。