[论文解读] HMSG: Heterogeneous Graph Neural Network based on Metapath Subgraph Learning

Xinjun Cai, Jiaxing Shang+3 more|arXiv (Cornell University)|Sep 7, 2021

Advanced Graph Neural Networks被引用 5

一句话总结

HMSG 提出了一种异构图神经网络，通过将图分解为基于元路径的子图，联合捕捉同构与异构邻居的结构、语义和属性信息。通过在子图间应用类型特定的消息传递和基于注意力的聚合，HMSG 在多个基准数据集的节点分类、聚类和链接预测任务中均取得了最先进性能。

ABSTRACT

Many real-world data can be represented as heterogeneous graphs with different types of nodes and connections. Heterogeneous graph neural network model aims to embed nodes or subgraphs into low-dimensional vector space for various downstream tasks such as node classification, link prediction, etc. Although several models were proposed recently, they either only aggregate information from the same type of neighbors, or just indiscriminately treat homogeneous and heterogeneous neighbors in the same way. Based on these observations, we propose a new heterogeneous graph neural network model named HMSG to comprehensively capture structural, semantic and attribute information from both homogeneous and heterogeneous neighbors. Specifically, we first decompose the heterogeneous graph into multiple metapath-based homogeneous and heterogeneous subgraphs, and each subgraph associates specific semantic and structural information. Then message aggregation methods are applied to each subgraph independently, so that information can be learned in a more targeted and efficient manner. Through a type-specific attribute transformation, node attributes can also be transferred among different types of nodes. Finally, we fuse information from subgraphs together to get the complete representation. Extensive experiments on several datasets for node classification, node clustering and link prediction tasks show that HMSG achieves the best performance in all evaluation metrics than state-of-the-art baselines.

研究动机与目标

• 为解决现有异构GNN模型忽略异构邻居或对所有邻居一视同仁的局限性。
• 通过将异构图分解为基于元路径的子图，捕捉更丰富的结构、语义和属性信息。
• 通过使用类型特定的变换，分别聚合来自同构和异构邻居的消息，提升节点表示学习。
• 在下游任务（如节点分类、聚类和链接预测）中实现更优性能。

提出的方法

• 从原始异构图中构建多个基于元路径的子图（包括同构与异构子图），以保留特定的语义和结构关系。
• 对每个子图独立应用图卷积网络进行消息传递，以聚合邻域信息。
• 应用类型特定的属性变换层，实现不同节点类型之间节点属性的迁移与对齐。
• 使用注意力机制动态聚合来自多个子图的表示，实现子图贡献的自适应加权。
• 通过拼接和非线性变换，融合所有子图的输出，获得最终的节点表示。

实验结果

研究问题

• RQ1 一种对同构与异构邻居区别对待的异构GNN模型，是否能优于将它们统一聚合的模型？
• RQ2 基于元路径的子图分解在异构图中能否有效保留语义和结构信息？
• RQ3 引入类型特定的属性变换是否能提升异构图中的表示学习？
• RQ4 基于注意力的多条元路径子图融合，能否带来更鲁棒且泛化能力更强的节点嵌入？

主要发现

• 在节点分类任务中，HMSG 在 ACM、IMDB 和 Amazon Review 数据集上的所有评估指标中均表现最佳，显著优于最先进模型。
• 在链接预测任务中，HMSG 在 Review-I 上达到 82.14% 的 AUC 和 81.37% 的 AP，在 Review-II 上达到 78.96% 的 AUC 和 79.05% 的 AP，显著优于所有基线模型。
• 消融实验表明，同时包含同构与异构子图可提升性能，其中自注意力变体（HMSG_atten）表现最佳。
• 基于图卷积的模型（如 HMSG）在所有任务中均显著优于基于随机游走的方法（如 metapath2vec 和 node2vec），凸显了归纳式消息传递的优势。
• 仅使用同构子图的变体（HMSG_ho）在大多数任务中表现较差，验证了引入异构邻居的必要性。
• 使用类型特定的属性变换和基于注意力的聚合显著提升了性能，尤其在链接预测和聚类任务中表现突出。