[论文解读] Heterogeneous Graph Attention Network

Xiao Wang, Houye Ji+5 more|arXiv (Cornell University)|Mar 18, 2019

Advanced Graph Neural Networks参考文献 40被引用 10

一句话总结

本文提出异构图注意力网络（Heterogeneous Graph Attention Network, HAN），一种新颖的图神经网络，通过层次化注意力机制——节点级与语义级注意力——来建模具有多种节点类型和边类型的异构图。通过为单个邻居和元路径联合学习注意力权重，HAN 能够捕捉丰富的语义信息，并在真实世界异构图上的节点分类与聚类任务中取得最先进性能，同时通过注意力可视化提升了可解释性。

ABSTRACT

Graph neural network, as a powerful graph representation technique based on deep learning, has shown superior performance and attracted considerable research interest. However, it has not been fully considered in graph neural network for heterogeneous graph which contains different types of nodes and links. The heterogeneity and rich semantic information bring great challenges for designing a graph neural network for heterogeneous graph. Recently, one of the most exciting advancements in deep learning is the attention mechanism, whose great potential has been well demonstrated in various areas. In this paper, we first propose a novel heterogeneous graph neural network based on the hierarchical attention, including node-level and semantic-level attentions. Specifically, the node-level attention aims to learn the importance between a node and its metapath based neighbors, while the semantic-level attention is able to learn the importance of different meta-paths. With the learned importance from both node-level and semantic-level attention, the importance of node and meta-path can be fully considered. Then the proposed model can generate node embedding by aggregating features from meta-path based neighbors in a hierarchical manner. Extensive experimental results on three real-world heterogeneous graphs not only show the superior performance of our proposed model over the state-of-the-arts, but also demonstrate its potentially good interpretability for graph analysis.

研究动机与目标

• 解决建模具有多样化节点类型、边类型及丰富语义关系的异构图的挑战。
• 将注意力机制引入异构图的图神经网络中，其中传统 GNN 方法不直接适用。
• 通过联合建模节点级注意力（邻居的重要性）与语义级注意力（元路径的重要性）来学习有意义的表征。
• 提升异构图上节点分类与聚类任务的性能与可解释性。
• 证明注意力机制能够有效捕捉现实网络中的语义异质性与结构复杂性。

提出的方法

• 提出一种两级层次化注意力机制：节点级注意力用于根据元路径上下文加权邻居节点的重要性，语义级注意力用于加权不同元路径的重要性。
• 使用元路径作为结构先验以定义邻域关系，使模型能够沿语义上有意义的路径聚合特征（例如，电影-演员-电影，电影-导演-电影）。
• 采用多头注意力机制以稳定训练并提升表征学习效果，其注意力查询、键和值均为可学习参数。
• 通过注意力加权求和的方式聚合基于元路径的邻居特征，同时保留结构与特征层面的信息。
• 应用两级注意力机制：首先在元路径内部对邻居进行注意力加权；其次对不同元路径进行注意力加权，以融合异构的语义信号。
• 使用 t-SNE 可视化将学习到的节点嵌入投影至二维空间，展示出更优的聚类效果与类别分离性。

实验结果

研究问题

• RQ1 如何有效将注意力机制适配于具有多种节点类型与边类型的异构图？
• RQ2 层次化注意力（节点级与语义级）是否能提升异构信息网络中的表征学习效果？
• RQ3 注意力权重如何反映真实图中不同元路径的语义重要性？
• RQ4 所提出的 HAN 模型是否在节点分类与聚类任务中优于现有 GNN 与基于元路径的方法？
• RQ5 学习到的注意力权重能否提供关于特定元路径与邻居重要性的可解释洞察？

主要发现

• HAN 在三个真实世界异构图（IMDB、ACM 和 DBLP）上，于节点分类与聚类任务中均取得最先进性能。
• 在 ACM 数据集上，HAN 在聚类任务中取得 0.842 的归一化互信息（NMI）分数，较第二名方法高出 2.5%。
• 语义级注意力为更具信息量的元路径分配更高权重：例如，在 DBLP 中，APCPA 获得显著高于 APA 或 APTPA 的注意力权重。
• t-SNE 可视化显示，HAN 能够为不同研究领域的作者生成高度分离的聚类，而 GCN 与 GAT 则出现类别混叠现象。
• 该模型对超参数选择具有鲁棒性，最优性能在嵌入维度为 128 且注意力头数为 8 时达到，而更高维度下性能因过拟合而下降。
• 消融实验表明，若移除任一层次的注意力机制，性能均出现显著下降，验证了两种注意力机制的必要性。