[论文解读] Heterogeneous Graph Neural Network for Recommendation

Jinghan Shi, Houye Ji+4 more|arXiv (Cornell University)|Sep 2, 2020

Recommender Systems and Techniques参考文献 7被引用 8

一句话总结

该论文提出HGRec，一种异质图神经网络，通过多跳元路径聚合注入高阶语义信息，并利用基于注意力的元路径加权融合多样化语义。实验表明，HGRec在推荐性能上优于当前最先进模型，NDCG@10指标最高提升8.19%，证明了丰富高阶语义在个性化推荐中的关键作用。

ABSTRACT

The prosperous development of e-commerce has spawned diverse recommendation systems. As a matter of fact, there exist rich and complex interactions among various types of nodes in real-world recommendation systems, which can be constructed as heterogeneous graphs. How learn representative node embedding is the basis and core of the personalized recommendation system. Meta-path is a widely used structure to capture the semantics beneath such interactions and show potential ability in improving node embedding. In this paper, we propose Heterogeneous Graph neural network for Recommendation (HGRec) which injects high-order semantic into node embedding via aggregating multi-hops meta-path based neighbors and fuses rich semantics via multiple meta-paths based on attention mechanism to get comprehensive node embedding. Experimental results demonstrate the importance of rich high-order semantics and also show the potentially good interpretability of HGRec.

研究动机与目标

• 解决在具有多种节点类型和边类型的异质推荐图中学习代表性节点嵌入的挑战。
• 通过沿元路径聚合多跳邻居，将高阶语义信息注入节点嵌入。
• 利用注意力机制融合来自多个元路径的丰富且多样的语义，生成全面的节点表示。
• 通过显式建模复杂的用户-物品交互模式，提升推荐性能与可解释性。
• 证明高阶语义信息与多条元路径融合在缓解冷启动问题和提升推荐准确率方面的有效性。

提出的方法

• 通过随机查找初始化节点嵌入，其维度由一个可学习的嵌入矩阵控制。
• 应用语义聚合层，通过在特定元路径上聚合邻居并使用元素级交互 $\mathbf{e}_k \odot \mathbf{e}_u $ 计算一阶及更高阶的节点嵌入。
• 使用可学习的权重矩阵 $\mathbf{W}_1^{\Phi^U}$ 基于聚合的邻居特征更新节点嵌入。
• 将聚合过程推广至多层（L层），以捕捉多跳距离下的高阶语义。
• 实现语义融合层，利用注意力机制根据其与目标节点的相关性动态加权不同元路径。
• 使用Adam优化整个模型，结合反向传播、L2正则化和早停策略进行端到端训练。

实验结果

研究问题

• RQ1 通过多跳元路径聚合注入高阶语义信息，对节点嵌入质量和推荐性能有何影响？
• RQ2 基于注意力的多条元路径融合能否提升异质图中节点表示的全面性与准确性？
• RQ3 HGRec在多种真实世界数据集上的推荐任务中，相较于现有最先进模型，其性能提升程度如何？
• RQ4 模型的注意力机制是否能有效识别并优先选择最具信息量的元路径用于推荐？
• RQ5 模型深度（聚合层数）如何影响性能？捕捉高阶语义的最优深度是多少？

主要发现

• HGRec在三个基准数据集（Movielens、Amazon、Yelp）上均达到最先进性能，相较于最强基线NGCF，Recall@10最高提升6.80%。
• 与NGCF相比，HGRec在Movielens上提升NDCG@10达8.19%，在Amazon上提升5.13%，在Yelp上提升12.6%，证明了高阶语义的有效性。
• HGRec始终优于其变体HGRec-（对所有元路径赋予相等注意力），证明了基于注意力的元路径加权具有显著价值。
• 语义聚合模块在L=3层时性能达到峰值，表明三跳元路径信息在过拟合发生前提供了最优的高阶语义。
• 该模型表现出强泛化能力，在所有指标（Pre@10、Recall@10、NDCG@10、HR@10）上均有提升，并通过注意力权重展现出潜在的良好可解释性。