[论文解读] Geom-GCN: Geometric Graph Convolutional Networks

Hongbin Pei, Bingzhe Wei+3 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Graph Neural Networks参考文献 30被引用 117

一句话总结

Geom-GCN 引入一种几何聚合方案，将图映射到潜在空间以构建结构邻域并捕获长程依赖，在多个图基准测试中实现最先进的结果。

ABSTRACT

Message-passing neural networks (MPNNs) have been successfully applied to representation learning on graphs in a variety of real-world applications. However, two fundamental weaknesses of MPNNs' aggregators limit their ability to represent graph-structured data: losing the structural information of nodes in neighborhoods and lacking the ability to capture long-range dependencies in disassortative graphs. Few studies have noticed the weaknesses from different perspectives. From the observations on classical neural network and network geometry, we propose a novel geometric aggregation scheme for graph neural networks to overcome the two weaknesses. The behind basic idea is the aggregation on a graph can benefit from a continuous space underlying the graph. The proposed aggregation scheme is permutation-invariant and consists of three modules, node embedding, structural neighborhood, and bi-level aggregation. We also present an implementation of the scheme in graph convolutional networks, termed Geom-GCN (Geometric Graph Convolutional Networks), to perform transductive learning on graphs. Experimental results show the proposed Geom-GCN achieved state-of-the-art performance on a wide range of open datasets of graphs. Code is available at https://github.com/graphdml-uiuc-jlu/geom-gcn.

研究动机与目标

• 解决传统 MPNN 的两个核心不足：节点邻域中的结构信息丢失，以及在非同质/不相关图中捕捉长程依赖的能力有限。
• 提出一种在图空间和潜在空间上同时工作的几何聚合方案。
• 给出一个具体实现（Geom-GCN）并在多样化的图数据集上进行验证。
• 分析消融实验，以理解图空间和潜在空间邻域的作用。
• 探索嵌入选项（Isomap、Poincare、struc2vec）以使 Geom-GCN 适应不同的图拓扑。

提出的方法

• 引入一个由三个模块组成的几何聚合方案：节点嵌入将节点映射到潜在空间，在图空间和潜在空间中定义结构邻域，以及用于更新节点特征的双层聚合。
• 将 N_g(v) 定义为图邻居，将 N_s(v) 定义为半径 ρ 内的潜在空间邻居，从而实现长程相似性捕捉。
• 在潜在空间位置上使用关系算子 τ 为邻居对分配几何关系 r；τ 将空间划分为一个有限集合 R。
• 进行双层聚合，在子邻域 (i,r) 上使用低阶聚合 p，在虚拟节点 (i,r) 上使用高阶聚合 q 以产生 h_v^{l+1}，确保置换不变性。
• 通过选择嵌入方法（Isomap、Poincare、struc2vec）实例化 Geom-GCN，得到 Geom-GCN-I、Geom-GCN-P、Geom-GCN-S；用二维欧几里得空间或双曲空间实现 τ；将 p 设为置换不变的求和，q 设为拼接（在最后一层再取均值）。
• 在传导式节点分类的 2 层 GCN 风格架构上演示该方法，并与 GCN 和 GAT 进行对比。

实验结果

研究问题

• RQ1 如何利用潜在空间几何来在图卷积中保持邻域的结构信息？
• RQ2 潜在空间邻域是否比纯图邻域更有效地捕捉非同质图中的长程依赖？
• RQ3 在不同图拓扑下，不同嵌入空间（Isomap、Poincare、struc2vec）对 Geom-GCN 性能的影响是？
• RQ4 同时结合图空间和潜在空间邻域是否比单一邻域变体带来一致的改进？
• RQ5 在对大规模图使用几何聚合时，模型复杂性与性能之间的权衡是什么？

主要发现

• 与 GCN 和 GAT 相比，Geom-GCN 在广泛的开源图数据集上实现了最先进的性能。
• Geom-GCN-P 变体（Poincare 嵌入）通常能取得强结果，特别是在具有分层结构的图上；嵌入选择显著影响性能。
• 基于 Isomap 的 Geom-GCN-I 已通过保留距离模式来提升性能；结合潜在空间邻域在若干数据集上提升了结果。
• 消融研究表明，图空间和潜在空间邻域都能带来提升，但在某些情况下单邻域变体的性能优于双邻域变体，提示未来在邻域上引入注意力可能带来潜在收益。
• 实验表明，潜在空间邻域通过聚合来自结构上相似但距离较远的节点的信息，帮助捕捉长程依赖，尤其是在非同质图中。