[论文解读] Hyperbolic Graph Neural Networks

Qi Liu, Maximilian Nickel+1 more|arXiv (Cornell University)|Oct 28, 2019

Image Processing and 3D Reconstruction被引用 77

一句话总结

本文将图神经网络推广到黎曼流形，并显示超曲率GNNs（庞加莱模型与洛伦兹模型）在合成、分子和区块链图任务上优于欧几里得GNNs。

ABSTRACT

Learning from graph-structured data is an important task in machine learning and artificial intelligence, for which Graph Neural Networks (GNNs) have shown great promise. Motivated by recent advances in geometric representation learning, we propose a novel GNN architecture for learning representations on Riemannian manifolds with differentiable exponential and logarithmic maps. We develop a scalable algorithm for modeling the structural properties of graphs, comparing Euclidean and hyperbolic geometry. In our experiments, we show that hyperbolic GNNs can lead to substantial improvements on various benchmark datasets.

研究动机与目标

• 将图神经网络推广到可在任意黎曼流形上运作，具备可微分的指数映射与对数映射。
• 在结构化图数据上比较欧几里得GNN与超曲率变体。
• 证明超曲率模型在整图分类和分子性质预测方面的性能提升。
• 提供可扩展、流形无关的框架并发布代码/数据以便复现。

提出的方法

• 通过使用对数映射将邻域特征映射到切空间、应用线性变换、再通过指数映射映回，扩展GNN消息传递到流形。
• 将欧几里得空间、庞加莱球面和洛伦兹模型作为嵌入的超曲率流形进行探索。
• 在流形上使用基于质心的回归/分类方案来生成图级输出。
• 通过在消息传递中加入与关系相关的权重矩阵来处理多关系数据（如ZINC）。
• 确保保持流形结构的非线性激活，并讨论激活函数选择与优化方法。

实验结果

研究问题

• RQ1 超曲率几何是否相较于欧几里得几何为捕捉图结构提供更强的归纳偏置？
• RQ2 相较于欧几里得GNN，超曲率GNN在整图分类和分子性质预测方面有改进？
• RQ3 在庞加莱球和洛伦兹模型之间，哪种超曲线表示能带来更好的性能和稳定性？
• RQ4 当嵌入在流形上而非欧几里得空间时，输出如何回归/分类？

主要发现

• 超曲率GNN在合成结构分类任务上优于欧几里得GNN，在低维时收益更大，洛伦兹模型通常优于庞加莱模型。
• 在分子性质预测（ZINC数据集）中，洛伦兹超曲率模型在多种性质上的平均绝对误差低于欧几里得和庞加莱模型。
• 在区块链交易图中，超曲率模型（洛伦兹和庞加莱）在预测价格波动方面的准确度高于欧几里得基线。
• 超曲率表示能够有效捕捉图中的层次结构，使跨领域的建模更加高效、准确。
• 该方法在计算上仍与欧几里得模型具有竞争力，且在数值稳定性方面洛伦兹模型具有优势。