[论文解读] Heterogeneous manifolds for curvature-aware graph embedding

Francesco Di Giovanni, Giulia Luise+1 more|arXiv (Cornell University)|Feb 2, 2022

Advanced Graph Neural Networks被引用 12

一句话总结

本文提出了一种在异质流形上进行图嵌入的新型框架，通过联合建模成对距离与节点级曲率，利用齐次流形（例如双曲空间）与球对称径向流形的乘积空间实现。通过引入基于黎曼随机梯度下降的曲率感知优化方法，仅增加一个额外导数，该方法能够保持图的高阶结构，并实现具有无标度性和丰富社区结构的异质随机图的逼真生成。

ABSTRACT

Graph embeddings, wherein the nodes of the graph are represented by points in a continuous space, are used in a broad range of Graph ML applications. The quality of such embeddings crucially depends on whether the geometry of the space matches that of the graph. Euclidean spaces are often a poor choice for many types of real-world graphs, where hierarchical structure and a power-law degree distribution are linked to negative curvature. In this regard, it has recently been shown that hyperbolic spaces and more general manifolds, such as products of constant-curvature spaces and matrix manifolds, are advantageous to approximately match nodes pairwise distances. However, all these classes of manifolds are homogeneous, implying that the curvature distribution is the same at each point, making them unsuited to match the local curvature (and related structural properties) of the graph. In this paper, we study graph embeddings in a broader class of heterogeneous rotationally-symmetric manifolds. By adding a single extra radial dimension to any given existing homogeneous model, we can both account for heterogeneous curvature distributions on graphs and pairwise distances. We evaluate our approach on reconstruction tasks on synthetic and real datasets and show its potential in better preservation of high-order structures and heterogeneous random graphs generation.

研究动机与目标

• 解决齐次流形在建模具有异质曲率分布的真实世界图时的局限性。
• 在图嵌入中联合保持成对距离与局部曲率信息。
• 开发一种计算上可行的框架，推广现有齐次模型，同时支持曲率感知优化。
• 展示对聚类与社区结构等高阶结构属性的更好保持能力。
• 实现具有无标度性和密集社区特征的异质随机图的逼真生成。

提出的方法

• 该方法将异质流形构建为齐次空间（例如双曲空间）与球对称径向流形的乘积，实现空间上变化的曲率。
• 引入一种曲率感知损失函数，将图的离散节点曲率与流形上的点态标量曲率相匹配。
• 通过计算单个额外导数，扩展黎曼随机梯度下降以处理异质曲率结构。
• 该框架允许使用标准黎曼优化工具，联合优化距离保持与曲率对齐。
• 在合成图与真实世界图上对方法进行评估，并对曲率建模与嵌入质量进行消融研究。
• 通过从异质流形中采样并应用基于曲率与距离的连通性规则，实现随机图生成。

实验结果

研究问题

• RQ1 与齐次模型相比，异质流形框架是否能更有效地联合保持图嵌入中的成对距离与局部曲率？
• RQ2 曲率感知优化在多大程度上改善了聚类与社区结构等高阶结构属性的保持？
• RQ3 所提出的方法在多大程度上能够生成具有无标度性和异质社区结构的逼真随机图？
• RQ4 在流形中引入径向维度是否能在保持计算可行性的同时实现更好的曲率建模？
• RQ5 与标准基于距离的优化相比，曲率感知嵌入在平均距离失真与聚类保持方面表现如何？

主要发现

• 在合成图与真实世界图上，所提方法相较于齐次基线模型实现了显著更低的平均距离失真。
• 模型成功将输入图的离散曲率分布与嵌入流形的点态曲率相匹配，曲率统计量之间表现出强相关性。
• 在随机图生成中，异质模型即使在形成大团时，仍能保持无标度度分布且度与聚类的方差较低。
• 在不同距离阈值下，聚类系数的方差保持稳定（约0.28–0.30），表明存在异质密度分布；而齐次模型中该方差降至0.15以下。
• 在7.0的距离阈值下，异质模型实现了最大团大小47.2，同时保持平均聚类（0.47）与度方差（19.4）；而齐次模型虽形成大小为49.96的团，但聚类方差显著降低且度方差增加。
• 该方法通过在嵌入空间中利用位置相关的曲率，实现了具有密集社区与无标度特性的逼真图生成。