[论文解读] An Attention-based Graph Neural Network for Heterogeneous Structural Learning

Huiting Hong, Hantao Guo+4 more|arXiv (Cornell University)|Dec 19, 2019

Advanced Graph Neural Networks参考文献 33被引用 24

一句话总结

该论文提出 HetSANN，一种无需元路径的图神经网络，通过类型感知注意力机制学习异质信息网络（HIN）表示，无需人工设计的元路径即可编码结构和关系语义。该模型通过联合建模实体空间变换与特定关系的注意力机制，在三个公开的 HIN 数据集上实现了节点分类的最先进性能，其性能持续优于先前方法。

ABSTRACT

In this paper, we focus on graph representation learning of heterogeneous information network (HIN), in which various types of vertices are connected by various types of relations. Most of the existing methods conducted on HIN revise homogeneous graph embedding models via meta-paths to learn low-dimensional vector space of HIN. In this paper, we propose a novel Heterogeneous Graph Structural Attention Neural Network (HetSANN) to directly encode structural information of HIN without meta-path and achieve more informative representations. With this method, domain experts will not be needed to design meta-path schemes and the heterogeneous information can be processed automatically by our proposed model. Specifically, we implicitly represent heterogeneous information using the following two methods: 1) we model the transformation between heterogeneous vertices through a projection in low-dimensional entity spaces; 2) afterwards, we apply the graph neural network to aggregate multi-relational information of projected neighborhood by means of attention mechanism. We also present three extensions of HetSANN, i.e., voices-sharing product attention for the pairwise relationships in HIN, cycle-consistency loss to retain the transformation between heterogeneous entity spaces, and multi-task learning with full use of information. The experiments conducted on three public datasets demonstrate that our proposed models achieve significant and consistent improvements compared to state-of-the-art solutions.

研究动机与目标

• 消除在异质信息网络（HIN）表示学习中对专家设计元路径的依赖。
• 在无需手动指定元路径的情况下，对不同实体空间中的异质节点进行交互建模。
• 通过关系感知注意力机制，保留 HIN 中多种关系类型的语义差异。
• 通过整合循环一致性和多任务学习，提升 HIN 中的节点分类性能。
• 实现端到端、任务引导的 HIN 表示学习，同时不损失异质特征或边信息。

提出的方法

• 提出一种类型感知注意力层，将异质节点投影到共享的低维空间中，以实现跨类型交互。
• 应用特定关系的注意力机制，基于边类型聚合邻域信息，捕捉关系间的语义差异。
• 引入两种注意力评分函数：基于拼接的乘积和声音共享乘积（区分主动/被动边方向）。
• 施加循环一致性损失，以正则化实体空间之间的变换，确保双向映射的一致性。
• 采用多任务学习，联合优化节点分类与辅助任务（如论文分类），以增强泛化能力。
• 使用任务引导的目标函数（如节点分类损失）进行训练，实现端到端优化，且无需依赖元路径。

实验结果

研究问题

• RQ1 基于 GNN 的模型是否能在不依赖人工设计元路径的情况下，学习到有效的 HIN 表示？
• RQ2 如何在共享表示空间中有效嵌入并交互来自不同实体类型的异质节点？
• RQ3 特定关系的注意力机制是否能更好地捕捉 HIN 中多种边类型之间的语义差异？
• RQ4 整合循环一致性和多任务学习是否能提升 HIN 表示学习的鲁棒性与性能？
• RQ5 所提出的方法是否能在真实世界 HIN 的节点分类任务中超越依赖元路径的最先进方法？

主要发现

• HetSANN 在三个公开 HIN 数据集（IMDB、DBLP、Movie）上的节点分类任务中持续优于最先进方法，Micro F1 分数更高。
• HetSANN.M.R.V. 在所有变体中表现最佳，证明了声音共享乘积注意力、循环一致性损失与多任务学习相结合的有效性。
• 即使在低训练比例（如 20%）的弱监督设置下，模型仍保持强劲性能，表明其对有限监督的鲁棒性。
• 实验表明，当类型感知注意力层的数量超过五个时，性能会下降，证实了深层 GNN 中过平滑的风险。
• 敏感性分析显示，循环一致性损失各分量（β₁ 和 β₂）的最优权重至关重要——过大的值会抑制主节点分类任务。
• 声音共享乘积注意力机制能更好地建模方向性关系（如边中的主动/被动语态），从而在性能上优于标准的基于拼接的注意力机制。