[论文解读] Hop-Hop Relation-aware Graph Neural Networks

Li Zhang, Yan Ge+1 more|arXiv (Cornell University)|Dec 21, 2020

Advanced Graph Neural Networks参考文献 45被引用 4

一句话总结

该论文提出了一种跳跃-跳跃关系感知图神经网络（HHR-GNN），这是一种统一的同质与异质图表示学习框架，通过知识图嵌入技术学习个性化、跳跃感知的感受野，利用关系得分实现。通过应用基于学习到的关系得分的跳跃感知投影与聚合，HHR-GNN 在大规模异质图上相比先前方法实现了最先进准确率，并将每轮训练速度提升至最高13,000倍。

ABSTRACT

Graph Neural Networks (GNNs) are widely used in graph representation learning. However, most GNN methods are designed for either homogeneous or heterogeneous graphs. In this paper, we propose a new model, Hop-Hop Relation-aware Graph Neural Network (HHR-GNN), to unify representation learning for these two types of graphs. HHR-GNN learns a personalized receptive field for each node by leveraging knowledge graph embedding to learn relation scores between the central node's representations at different hops. In neighborhood aggregation, our model simultaneously allows for hop-aware projection and aggregation. This mechanism enables the central node to learn a hop-wise neighborhood mixing that can be applied to both homogeneous and heterogeneous graphs. Experimental results on five benchmarks show the competitive performance of our model compared to state-of-the-art GNNs, e.g., up to 13K faster in terms of time cost per training epoch on large heterogeneous graphs.

研究动机与目标

• 解决现有图神经网络中固定感受野的局限性，这些局限性无法适应同质与异质图中多变的节点连接模式。
• 克服在邻域聚合中对所有邻居一视同仁的问题，尤其是在异质图中，不同跳跃距离和节点类型对中心节点的相关性存在显著差异。
• 通过利用知识图嵌入技术学习动态、个性化的感受野，实现高效且可解释的表示学习。
• 在单一框架下统一同质与异质图的表示学习，支持跳跃感知的投影与聚合。
• 通过利用轻量级神经张量网络计算中心节点与多跳邻居之间的关系得分，提升模型效率与可解释性。

提出的方法

• 提出一种新型图神经网络架构，将图神经网络与知识图嵌入（KGE）结合，计算中心节点与其多跳邻居之间的关系得分。
• 使用神经张量网络（NTN）计算中心节点与其在不同跳跃距离下的表示之间的关系得分（例如，α₀₁、α₀₂），实现软性、个性化的聚合。
• 通过为每个跳跃距离的邻居嵌入使用不同的权重矩阵，实现跳跃感知的投影，从而根据跳跃距离实现不同的特征空间映射。
• 使用学习到的关系得分对多跳邻居表示进行加权聚合，并将结果与中心节点的嵌入拼接，形成最终表示。
• 设计统一框架，通过将不同节点类型与跳跃距离视为不同的关系类型，使同一架构能够同时处理同质与异质图。
• 利用低维GNN嵌入作为NTN模块的输入，以确保计算效率，尤其在节点类型有限的大规模图中。

实验结果

研究问题

• RQ1 统一的GNN框架是否能通过为每个节点学习个性化感受野，有效处理同质与异质图？
• RQ2 当邻居的不同跳跃距离对中心节点的相关性不同时，跳跃感知的投影与聚合如何改善表示学习？
• RQ3 从知识图嵌入中学习到的关系得分在多大程度上能增强模型的可解释性与性能？
• RQ4 所提出的方法在大规模异质图上是否比现有GNN更高效，特别是对于具有复杂邻域结构的图？
• RQ5 该模型是否能动态识别哪些跳跃距离或节点类型对节点表示贡献最大，从而实现可解释的预测？

主要发现

• HHR-GNN 在节点分类任务中表现优异，在IMDB数据集上相比最先进模型GTN与HAN最高提升9.3%。
• 在大规模异质图上，HHR-GNN 将每轮训练时间减少至原有方法的1/13,000，展现出卓越的效率。
• 模型通过关系得分学习到个性化感受野，结果显示一跳邻居的关系得分始终高于两跳邻居，证实其更强的相关性。
• 可解释性得到增强：对学习到的关系得分进行可视化显示，节点会发展出对特定邻居类型（如IMDB中的电影与导演）的偏好，反映出真实世界的关系。
• 基于轻量级NTN的关系得分学习机制实现了高效计算，尤其在节点类型较少的图中表现优异，同时保持高准确率。
• HHR-GNN 在异质图上的准确率优于GCN，表明简单的邻居聚合方法不足以应对复杂图结构。