[论文解读] Generalization and Representational Limits of Graph Neural Networks

Vikas Garg, Stefanie Jegelka+1 more|arXiv (Cornell University)|Feb 14, 2020

Advanced Graph Neural Networks参考文献 52被引用 54

一句话总结

这篇论文表明标准的本地信息GNN在计算关键图属性方面不可行，并为考虑本地置换不变性的消息传递GNN提供了数据相关的泛化边界，以及一个更具表现力的GNN变体。

ABSTRACT

We address two fundamental questions about graph neural networks (GNNs). First, we prove that several important graph properties cannot be computed by GNNs that rely entirely on local information. Such GNNs include the standard message passing models, and more powerful spatial variants that exploit local graph structure (e.g., via relative orientation of messages, or local port ordering) to distinguish neighbors of each node. Our treatment includes a novel graph-theoretic formalism. Second, we provide the first data dependent generalization bounds for message passing GNNs. This analysis explicitly accounts for the local permutation invariance of GNNs. Our bounds are much tighter than existing VC-dimension based guarantees for GNNs, and are comparable to Rademacher bounds for recurrent neural networks.

研究动机与目标

• 证明LU-GNNs及相关局部结构GNN变体无法计算若干重要的图属性。
• 提出一个图论表述，分析CPNGNNs及相关模型。
• 给出考虑局部置换不变性的消息传递GNN的数据相关泛化界限。
• 引入一种更具表达力的GNN变体(H-DCPN)，利用额外的几何和端口信息来克服所识别的局限。

提出的方法

• 定义Locally Unordered GNNs (LU-GNNs)及其变体，如CPNGNN和DimeNet。
• 构造LU-GNNs无法区分的图，因此无法计算诸如 girth、circumference、diameter、radius、conjoint cycles、total cycles 和 k-cliques 等属性。
• 引入 port-covers 和 port-locally isomorphic graph 概念，以形式化 CPNGNNs 的局限。
• 提出 H-DCPN 作为一种更具表现力的变体，结合定向消息传递、端口编号和几何平面特征。
• 通过展开局部计算树并用置换不变聚合来界定 Rademacher 复杂度，推导mean-field GNNs 的数据相关泛化界。

实验结果

研究问题

• RQ1 LU-GNNs 能否区分在诸如 girth、diameter 或 clique 结构等关键属性上不同的图？
• RQ2 基于端口编号的 GNN（CPNGNNs）是否在这些属性上克服了 LU-GNNs 的局限？
• RQ3 考虑局部置换不变性的消息传递 GNN 的数据相关泛化保证是什么？

主要发现

• LU-GNNs 仅使用局部信息就无法计算若干重要的图属性。
• CPNGNNs 能区分一些 LU-GNNs 不能区分的图，但它们的能力依赖于所选择的端口编号。
• 存在一致的端口顺序，其中 CPNGNNs 无法判定若干图属性，而 DimeNet 在其他情况下仍然可能不充分。
• 带有置换不变读出(DimeNet) 不能判定 girth、circumference、diameter、radius 或总回路数；仅端口编号也不足以解决。
• 一种更具表现力的变体 H-DCPN，利用 plane-angle 特征，能够区分对 CPNGNN 和 DimeNet 都失败的图。
• 该论文推导了 GNN 的数据相关泛化界，依赖于深度、宽度和样本规模，与 RNN 型界在这些方面的依赖相匹配，并对局部置换不变性做了明确处理。