[论文解读] What functions can Graph Neural Networks compute on random graphs? The role of Positional Encoding

Nicolas Keriven, Samuel Vaiter|arXiv (Cornell University)|May 24, 2023

Advanced Graph Neural Networks被引用 7

一句话总结

该论文表征 permutation-equivariant GNN 在潜在位置随机图上可近似的函数空间，阐明节点特征与位置编码的作用，并提出对广义 PE 设计的归一化与集中化结果。

ABSTRACT

We aim to deepen the theoretical understanding of Graph Neural Networks (GNNs) on large graphs, with a focus on their expressive power. Existing analyses relate this notion to the graph isomorphism problem, which is mostly relevant for graphs of small sizes, or studied graph classification or regression tasks, while prediction tasks on nodes are far more relevant on large graphs. Recently, several works showed that, on very general random graphs models, GNNs converge to certains functions as the number of nodes grows. In this paper, we provide a more complete and intuitive description of the function space generated by equivariant GNNs for node-tasks, through general notions of convergence that encompass several previous examples. We emphasize the role of input node features, and study the impact of node Positional Encodings (PEs), a recent line of work that has been shown to yield state-of-the-art results in practice. Through the study of several examples of PEs on large random graphs, we extend previously known universality results to significantly more general models. Our theoretical results hint at some normalization tricks, which is shown numerically to have a positive impact on GNN generalization on synthetic and real data. Our proofs contain new concentration inequalities of independent interest.

研究动机与目标

• 澄清在大规模随机图上等变 GNN 可近似的函数空间。
• 解释输入节点特征，尤其是位置编码（PEs）如何影响 GNN 表现能力。
• 将普适性结果扩展到一般的 PE 设计及有助于泛化的实用归一化。

提出的方法

• 将 GNN 模型建模为在节点特征上由图移位算子 S 作用下的消息传递。
• 通过对 X 上潜在函数的采样收敛来定义 GNN 函数空间 F_GNN(B)。
• 引入 S 的扩展 F_S(B) 作为在 S 与 Lipschitz 组合作用下的基底集合 B 的最小闭合、稳定扩展。
• 在假设 1（S 收敛到其连续等价物）成立时证明 F_GNN(B) 等于 F_S(B)。
• 通过位置编码来刻画基底集合 B，包括基于特征向量的和距离编码的 PE。
• 建立对平方可积函数的集中性结果及使用 ReLU 基多层感知机图滤波器的新普适近似。

实验结果

研究问题

• RQ1 在大型潜在位置随机图上， permutation-equivariant GNN 能近似的完整函数空间是什么？
• RQ2 不同的位置编码（PEs）如何影响 GNN 在节点中心任务中的普适性与表达能力？
• RQ3 对于大规模图上的 PE 驱动 GNN，哪些归一化与集中性结果是收敛性与泛化所必需的？
• RQ4 使用 ReLU 基的图滤波器在伯努利（随机）图模型下是否也能实现鲁棒的集中性？
• RQ5 PE 设计是否将现有的普适性结果推广或改进到具有特征的一般随机图模型？

主要发现

• 在大型随机图上，GNN 以渐近方式近似输入基集合 B 的 S-扩展 F_S(B)。
• PEs 显著影响基空间 B，从而影响整体函数空间 F_S(B)，进而决定表达能力的提升或限制。
• SignNet 型的特征向量 PE 在经适当重新归一化后，与连续极限的本征函数对齐，解决不同图规模下的符号歧义。
• 带有本征值的距离编码 PE，配合对本征值的 MLP 滤波，能够在伯努利随机图上实现普适性扩展的集中性结果。
• 对带 ReLU 滤波器的伯努利矩阵的新集中性不等式为所提 PE 方案提供理论保障。
• 理论所指示的归一化策略提升了在合成数据与真实数据实验中的泛化效果。