[论文解读] Hyperbolic Graph Attention Network

Yiding Zhang, Xiao Wang+3 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Graph Neural Networks参考文献 29被引用 15

一句话总结

本文提出超球图注意力网络（HAT），首个专为双曲空间设计的GNN框架，利用双曲向量空间处理非欧几里得几何。该方法引入基于双曲邻近度的注意力机制，并通过对数与指数映射实现加速策略，在四个具有层次结构的真实世界数据集上，节点分类与聚类任务均达到最先进性能。

ABSTRACT

Graph neural network (GNN) has shown superior performance in dealing with graphs, which has attracted considerable research attention recently. However, most of the existing GNN models are primarily designed for graphs in Euclidean spaces. Recent research has proven that the graph data exhibits non-Euclidean latent anatomy. Unfortunately, there was rarely study of GNN in non-Euclidean settings so far. To bridge this gap, in this paper, we study the GNN with attention mechanism in hyperbolic spaces at the first attempt. The research of hyperbolic GNN has some unique challenges: since the hyperbolic spaces are not vector spaces, the vector operations (e.g., vector addition, subtraction, and scalar multiplication) cannot be carried. To tackle this problem, we employ the gyrovector spaces, which provide an elegant algebraic formalism for hyperbolic geometry, to transform the features in a graph; and then we propose the hyperbolic proximity based attention mechanism to aggregate the features. Moreover, as mathematical operations in hyperbolic spaces could be more complicated than those in Euclidean spaces, we further devise a novel acceleration strategy using logarithmic and exponential mappings to improve the efficiency of our proposed model. The comprehensive experimental results on four real-world datasets demonstrate the performance of our proposed hyperbolic graph attention network model, by comparisons with other state-of-the-art baseline methods.

研究动机与目标

• 为解决尽管实证证据表明真实世界图具有层次与幂律结构，但缺乏专为非欧几里得双曲空间设计的图神经网络这一问题。
• 克服在双曲空间中执行标准向量运算（如加法、减法）的挑战，因为双曲空间并非向量空间。
• 设计一种利用双曲邻近度的注意力机制，以在非欧几里得几何中实现有效的特征聚合。
• 通过基于对数与指数映射的加速策略，提升双曲空间中的计算效率。
• 在具有树状或无标度拓扑结构的真实世界数据集上，验证双曲GNN的优越性。

提出的方法

• 采用双曲向量空间作为代数形式化方法，推广双曲几何中的向量运算，实现特征变换与聚合。
• 设计基于双曲邻近度的注意力机制，依据双曲空间中的测地线距离计算注意力分数。
• 利用对数与指数映射，将双曲运算转换为切空间运算，从而加速计算。
• 将双曲注意力层集成至GNN架构中，保持底层双曲流形的曲率。
• 使用对数映射将学习到的表示投影至欧几里得空间，以支持下游任务如聚类与可视化。
• 采用交叉熵损失进行端到端训练以实现节点分类，使用K-means进行聚类评估。

实验结果

研究问题

• RQ1 能否在双曲空间中有效设计并训练图神经网络，以更好地捕捉层次图结构？
• RQ2 在标准向量代数失效的非欧几里得双曲空间中，如何重新定义如注意力聚合等向量运算？
• RQ3 使用双曲向量空间对双曲几何中GNN的表达能力与稳定性有何影响？
• RQ4 基于对数与指数映射的加速策略是否能显著提升双曲GNN的训练效率，同时不损失几何保真度？
• RQ5 与欧几里得基线相比，在双曲空间中建模图数据是否能显著提升节点分类与聚类任务的性能？

主要发现

• HAT在四个真实世界数据集（包括Cora、Citeseer、PubMed与Amazon Photo）上的节点分类任务中均达到最先进性能。
• 在Amazon Photo数据集上，HAT在16个头的情况下测试准确率达到0.719，优于GCN（0.626）、GAT（0.659）与PoincaréEmb（0.659）在相同设置下的表现。
• 在节点聚类任务中，HAT在所有数据集上均取得最高的标准化互信息（NMI），在Cora上达到峰值NMI 0.439，在PubMed上达到0.393。
• PubMed数据集的可视化结果显示，HAT产生的类别边界比GCN与GAT更清晰，表明其表示分离能力更优。
• 注意力分析表明，HAT更倾向于为同类别邻居分配更高的注意力权重，证实其具备区分相关与无关邻居的能力。
• 基于对数与指数映射的加速策略在保持双曲空间几何精度的同时，降低了计算复杂度。