[论文解读] Hyperbolic Graph Convolutional Neural Networks

Ines Chami, Rex Ying+2 more|arXiv (Cornell University)|Oct 28, 2019

Advanced Graph Neural Networks参考文献 52被引用 263

一句话总结

HGCN 将 GCN 推广到双曲空间，使用可训练曲率，使对层级和无标度图的归纳学习成为可能，在链接预测和节点分类方面具有改进。

ABSTRACT

Graph convolutional neural networks (GCNs) embed nodes in a graph into Euclidean space, which has been shown to incur a large distortion when embedding real-world graphs with scale-free or hierarchical structure. Hyperbolic geometry offers an exciting alternative, as it enables embeddings with much smaller distortion. However, extending GCNs to hyperbolic geometry presents several unique challenges because it is not clear how to define neural network operations, such as feature transformation and aggregation, in hyperbolic space. Furthermore, since input features are often Euclidean, it is unclear how to transform the features into hyperbolic embeddings with the right amount of curvature. Here we propose Hyperbolic Graph Convolutional Neural Network (HGCN), the first inductive hyperbolic GCN that leverages both the expressiveness of GCNs and hyperbolic geometry to learn inductive node representations for hierarchical and scale-free graphs. We derive GCN operations in the hyperboloid model of hyperbolic space and map Euclidean input features to embeddings in hyperbolic spaces with different trainable curvature at each layer. Experiments demonstrate that HGCN learns embeddings that preserve hierarchical structure, and leads to improved performance when compared to Euclidean analogs, even with very low dimensional embeddings: compared to state-of-the-art GCNs, HGCN achieves an error reduction of up to 63.1% in ROC AUC for link prediction and of up to 47.5% in F1 score for node classification, also improving state-of-the art on the Pubmed dataset.

研究动机与目标

• 阐明欧几里得 GCN 在无标度和分层图中的失真极限。
• 开发将欧几里得特征映射到双曲空间的归纳型图卷积操作。
• 提出基于超曲线注意力的聚合以及逐层曲率学习，以获得低失真嵌入。
• 实现跨层的超曲线特征变换、聚合和曲率的端到端训练。
• 在真实世界的层级数据集上展示在链接预测和节点分类上的最新性能。

提出的方法

• 在双曲空间的双曲面模型中推导 GCN 风格的特征变换和邻域聚合。
• 通过在参考北极点的指数映射将欧几里得输入特征映射到双曲嵌入。
• 使用对数映射与指数映射在切空间中执行变换，定义双曲面矩阵乘法。
• 引入在局部切空间中运行的基于超曲线注意力的聚合，具有对曲率感知的 softmax 加权。
• 实现跨层的非线性激活，具有可训练曲率，以在不同双曲空间之间转换。
• 使用费米-狄拉克解码器进行链接预测，以及切空间逻辑回归用于节点分类，同时进行权重、曲率和注意力的端到端训练。

实验结果

研究问题

• RQ1 欧几里得输入特征能否被有效地转换为适用于图表示学习的双曲嵌入？
• RQ2 如何在双曲空间中执行邻域聚合以捕捉层级图结构？
• RQ3 在 GCN 的每一层允许不同的可训练曲率对表示质量和优化有何影响？
• RQ4 在无标度和分层图上的链接预测与节点分类中，超曲线 GCN 是否提升归纳学习？
• RQ5 超曲线注意力机制在保持图的层级结构方面与欧几里得注意力相比有何差异？

主要发现

• HGCN 在无标度与分层图上的改进显著超过欧几里得 GNN，在某些数据集的链接预测中 ROC AUC 提升最高可达 63.1%，在节点分类中的 F1 分数提升最高可达 47.5%。
• 基于超曲线注意力的聚合和逐层可训练曲率对比固定曲率或无注意力的变体带来性能提升。
• 在双曲面模型中使用稳定的指数映射进行训练在他们的实验中比基于 Poincaré 的方法更易于优化。
• HGCN 在 PubMed 上达到最先进的结果，并在多样化数据集上显示出强的归纳能力，包括 Disease、Airport 和 PPI 网络。
• 分析表明 HGCN 嵌入反映层级结构，曲率自适应有助于控制嵌入尺度和失真。