[论文解读] Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs

Li Sun, Zhongbao Zhang+5 more|arXiv (Cornell University)|Apr 6, 2021

Advanced Graph Neural Networks参考文献 44被引用 6

一句话总结

本文提出超椭球变分图神经网络（HVGNN），这是首个在双曲空间中学习随机、动态图表示的方法。通过结合时间图神经网络与双曲变分自编码器，并引入可重参数化的采样机制，HVGNN在建模图动态与不确定性方面优于欧几里得基线方法，在真实世界数据集上的链接预测与节点分类任务中均达到最先进性能。

ABSTRACT

Learning representations for graphs plays a critical role in a wide spectrum of downstream applications. In this paper, we summarize the limitations of the prior works in three folds: representation space, modeling dynamics and modeling uncertainty. To bridge this gap, we propose to learn dynamic graph representation in hyperbolic space, for the first time, which aims to infer stochastic node representations. Working with hyperbolic space, we present a novel Hyperbolic Variational Graph Neural Network, referred to as HVGNN. In particular, to model the dynamics, we introduce a Temporal GNN (TGNN) based on a theoretically grounded time encoding approach. To model the uncertainty, we devise a hyperbolic graph variational autoencoder built upon the proposed TGNN to generate stochastic node representations of hyperbolic normal distributions. Furthermore, we introduce a reparameterisable sampling algorithm for the hyperbolic normal distribution to enable the gradient-based learning of HVGNN. Extensive experiments show that HVGNN outperforms state-of-the-art baselines on real-world datasets.

研究动机与目标

• 为解决现有图表示学习方法在表示空间、动态建模与不确定性处理方面的局限性。
• 探索双曲空间作为具有指数增长邻域规模的层次图更优表示空间的潜力。
• 通过引入时间感知注意力机制与理论基础坚实的时间编码方法，建模动态图的演化过程。
• 将节点表示为双曲空间中的随机分布（包裹正态分布），以捕捉图形成过程中的固有不确定性。
• 通过可重参数化的采样算法实现端到端、基于梯度的训练，适用于双曲正态分布。

提出的方法

• 提出一种时间图神经网络（TGNN），采用理论基础坚实的时间编码方法以区分时间域中的节点，并建模时间动态。
• 引入一种双曲图变分自编码器（HGVAE），在双曲空间中生成节点的随机表示，形式为包裹正态分布。
• 在双曲空间中引入可学习的曲率，以提升模型容量并适应图结构。
• 设计一种适用于双曲空间中包裹正态分布的可重参数化采样算法，以支持反向传播与端到端训练。
• 采用黎曼优化技术，包括指数映射与对数映射，以在双曲流形上执行操作。
• 结合TGNN与HGVAE，在统一的双曲表示框架中联合建模时间演化与不确定性。

实验结果

研究问题

• RQ1 与欧几里得空间相比，双曲空间是否能更优地表示具有指数增长邻域规模的层次图？
• RQ2 如何在双曲空间中利用时间感知注意力机制有效建模动态图的时间演化？
• RQ3 双曲空间中的随机表示是否能比确定性嵌入更好地捕捉节点形成过程中的不确定性？
• RQ4 是否可行通过可重参数化的采样方法，对包裹正态分布实现双曲空间中的基于梯度的学习？
• RQ5 结合双曲空间、动态建模与不确定性表示，是否能提升下游图任务的性能？

主要发现

• HVGNN在真实世界数据集的链接预测与节点分类任务中，均优于最先进基线方法。
• 通过调节双曲空间的曲率，模型实现了显著的性能提升，验证了可学习曲率的优势。
• 时间GNN与双曲变分自编码器的融合，有效实现了对动态演化与不确定性的联合建模。
• 所提出的可重参数化采样算法成功实现了双曲空间中随机表示的基于梯度优化。
• 实证结果表明，双曲空间相较于欧几里得空间，为层次图提供了更有效的表示空间。
• HVGNN在具有固有层次结构的数据集中表现更优，证实了双曲几何对这类图的适用性。