[论文解读] OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs

Yangze Zhou, Gitta Kutyniok+1 more|arXiv (Cornell University)|May 30, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

本文首次对更大测试图中的分布外（OOD）链接预测问题，提供了消息传递图神经网络（GNN）的理论分析。研究证明，具有排列等变节点嵌入的标准GNN在测试图增大时会收敛至随机猜测，但提出了新颖的成对嵌入架构，通过学习连续且结构感知的表示，使模型在分布外情况下仍能保持预测能力，从而实现对更大图的泛化。

ABSTRACT

This work provides the first theoretical study on the ability of graph Message Passing Neural Networks (gMPNNs) -- such as Graph Neural Networks (GNNs) -- to perform inductive out-of-distribution (OOD) link prediction tasks, where deployment (test) graph sizes are larger than training graphs. We first prove non-asymptotic bounds showing that link predictors based on permutation-equivariant (structural) node embeddings obtained by gMPNNs can converge to a random guess as test graphs get larger. We then propose a theoretically-sound gMPNN that outputs structural pairwise (2-node) embeddings and prove non-asymptotic bounds showing that, as test graphs grow, these embeddings converge to embeddings of a continuous function that retains its ability to predict links OOD. Empirical results on random graphs show agreement with our theoretical results.

研究动机与目标

• 对消息传递GNN在测试图显著大于训练图的分布外（OOD）链接预测设置下的泛化能力进行理论分析。
• 研究GNN中排列等变的节点嵌入在部署于更大、未见图时，是否能保持预测性能。
• 提出并理论证明一种基于结构化成对（2-节点）嵌入的新GNN架构，该架构在更大测试图上具有更好的泛化能力。
• 在OOD设置下，建立基于节点嵌入与成对嵌入的GNN泛化误差的非渐近界。

提出的方法

• 证明了非渐近界，表明标准gMPNN的节点嵌入由于大图中结构对称性的增加，随测试图规模增大而收敛至随机猜测。
• 提出一种新颖的gMPNN架构，其输出为节点对的结构化成对嵌入，而非单个节点嵌入。
• 理论分析表明，这些成对嵌入会收敛至一个连续函数，该函数在OOD泛化下仍能保持链接预测能力。
• 利用消息传递和读出函数的稳定性和利普希茨常数，推导出成对嵌入模型泛化误差的非渐近界。
• 通过将误差分解为依赖于训练图属性的项（包括利普希茨常数和最小度数）来界定泛化性能。
• 在随机图上实证验证了理论发现，理论预测与实际性能表现一致。

实验结果

研究问题

• RQ1 标准消息传递GNN在使用排列等变节点嵌入时，能否泛化至更大、分布外的测试图？
• RQ2 为何当测试图显著大于训练图时，标准GNN在OOD链接预测中会失效？
• RQ3 一种采用成对节点嵌入的改进GNN架构能否在OOD设置下保持预测能力？
• RQ4 能否为OOD链接预测任务中GNN的泛化误差建立理论边界？
• RQ5 图的大小和结构对称性如何影响GNN在OOD链接预测中的性能？

主要发现

• 由于大图中结构对称性不断增长，使用排列等变节点嵌入的标准gMPNN会随测试图规模增大而收敛至随机猜测。
• 所提出的成对嵌入gMPNN架构通过学习连续且结构感知的表示，实现了对更大图的泛化，从而在OOD设置下保持了预测能力。
• 非渐近界表明，成对嵌入模型的泛化误差以 $\mathcal{O}(\sqrt{\log N^\text{te}} / \sqrt{N^\text{te}})$ 的速率衰减，表明其收敛至一个稳定且具有预测能力的函数。
• 理论边界依赖于训练图的属性，如消息传递和读出函数的利普希茨常数，以及最小度数 $d_{\text{cmin}}$。
• 在随机图上的实证结果证实了理论预测：标准GNN在OOD下性能下降，而所提出的成对模型则保持了性能。
• 分析表明，小图中依赖图的非对称性在大图中会失效，因为同构节点变得普遍，从而破坏了基于节点嵌入的方法。