[论文解读] Geodesic Graph Neural Network for Efficient Graph Representation Learning

Lecheng Kong, Yixin Chen+1 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

该论文提出了一种新型图神经网络框架——测地线图神经网络（GDGNN），通过在单次GNN前向传播中注入测地线（最短路径）信息，显著提升了表示学习的表达能力和效率。GDGNN在多个图学习任务上实现了最先进性能，且相比多轮次子图基方法，运行时间大幅减少。

ABSTRACT

Graph Neural Networks (GNNs) have recently been applied to graph learning tasks and achieved state-of-the-art (SOTA) results. However, many competitive methods run GNNs multiple times with subgraph extraction and customized labeling to capture information that is hard for normal GNNs to learn. Such operations are time-consuming and do not scale to large graphs. In this paper, we propose an efficient GNN framework called Geodesic GNN (GDGNN) that requires only one GNN run and injects conditional relationships between nodes into the model without labeling. This strategy effectively reduces the runtime of subgraph methods. Specifically, we view the shortest paths between two nodes as the spatial graph context of the neighborhood around them. The GNN embeddings of nodes on the shortest paths are used to generate geodesic representations. Conditioned on the geodesic representations, GDGNN can generate node, link, and graph representations that carry much richer structural information than plain GNNs. We theoretically prove that GDGNN is more powerful than plain GNNs. We present experimental results to show that GDGNN achieves highly competitive performance with SOTA GNN models on various graph learning tasks while taking significantly less time.

研究动机与目标

• 为解决标准GNN在区分结构相似但不同的子图（如环与路径）时表达能力有限的问题。
• 克服现有高表达力GNN方法效率低下的问题，这些方法通常需要多次GNN运行或复杂的子图标记。
• 开发一种通用且高效的框架，通过单次GNN前向传播将测地线（最短路径）信息注入GNN，无需迭代或基于子图的计算。
• 通过基于单次GNN前向传播生成的测地线增强特征，实现更丰富的节点、边和图表示。
• 证明仅依赖测地线信息即可在节点、边和图级别任务上实现高性能，而无需自定义标签或多次训练运行。

提出的方法

• GDGNN由两部分组成：用于初始节点表示学习的标准GNN单元，以及用于提取测地线增强表示的测地线池化单元。
• 针对每个目标节点、边或图，模型通过图距离计算识别任务特定的测地线——即相关节点之间的最短路径。
• 将这些测地线路径上的节点的GNN嵌入进行池化，形成编码条件化结构上下文的测地线表示。
• 利用测地线表示来条件化最终的节点、边或图表示，从而在表达能力上超越1-WL的表达力。
• 该框架支持端到端训练，仅需对全图进行一次GNN前向传播，避免重复的子图提取和GNN推理。
• 该方法具有通用性，可与任意基础GNN架构（如GCN或GIN）结合，以提升性能。

实验结果

研究问题

• RQ1 是否可以利用最短路径的测地线信息来增强GNN表示，而无需多次GNN运行或子图标记？
• RQ2 基于测地线增强表示的条件化是否能带来比标准GNN更高的表达能力，特别是在区分非同构子结构方面？
• RQ3 仅通过一次GNN前向传播结合测地线池化，能否在节点、边和图级别任务上实现具有竞争力的性能，同时保持高效率？
• RQ4 与依赖复杂子图标记或高阶消息传递的最先进GNN相比，GDGNN的性能如何？
• RQ5 基于测地线的条件化表示是否足以捕捉现实世界图中的位置和结构信息？

主要发现

• 在OGBG-MOLPCBA数据集上，GDGNN使用GDGIN模型实现了28.59%的测试准确率，优于基线GIN（27.03%）和LSPE（28.40%），达到最先进水平。
• 在TU Cora数据集上，GDGIN在图分类任务中达到77.8%的准确率，与Nested-GIN持平，显著优于GIN（71.6%）。
• 在USA-Airport数据集的节点分类任务中，GDGIN达到64.36%的准确率，优于DE-GNN（64.16%）和GIN（57.43%），表明其表达能力更强。
• GDGNN保持了高效率，仅需对全图进行一次GNN前向传播，与需要数百倍图规模计算的子图基方法相比，运行时间大幅减少。
• 在合成数据集上，GDGNN在4层设置下于EXP和CSL任务上均达到100%准确率，与通用PF-GNN性能相当，验证了其理论表达能力。
• 消融实验表明，基于测地线的条件化显著提升了性能，尤其在捕捉节点间相对结构关系方面效果突出。