[论文解读] A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks

Renjie Liao, Raquel Urtasun+1 more|arXiv (Cornell University)|Dec 14, 2020

Advanced Graph Neural Networks参考文献 27被引用 13

一句话总结

本文为两类主要的图神经网络（GNNs）——图卷积网络（GCNs）和消息传递GNNs（MPGNNs）——推导了PAC-Bayesian泛化界。结果表明，泛化误差受权重谱范数和最大节点度的控制，其边界推广了全连接网络与卷积网络的既有结果，并通过更紧密地依赖图结构和隐藏层维度大小，改进了现有的Rademacher复杂度界。

ABSTRACT

In this paper, we derive generalization bounds for the two primary classes of graph neural networks (GNNs), namely graph convolutional networks (GCNs) and message passing GNNs (MPGNNs), via a PAC-Bayesian approach. Our result reveals that the maximum node degree and spectral norm of the weights govern the generalization bounds of both models. We also show that our bound for GCNs is a natural generalization of the results developed in arXiv:1707.09564v2 [cs.LG] for fully-connected and convolutional neural networks. For message passing GNNs, our PAC-Bayes bound improves over the Rademacher complexity based bound in arXiv:2002.06157v1 [cs.LG], showing a tighter dependency on the maximum node degree and the maximum hidden dimension. The key ingredients of our proofs are a perturbation analysis of GNNs and the generalization of PAC-Bayes analysis to non-homogeneous GNNs. We perform an empirical study on several real-world graph datasets and verify that our PAC-Bayes bound is tighter than others.

研究动机与目标

• 使用PAC-Bayesian框架推导图神经网络（GNNs）的泛化界。
• 理解图结构，特别是最大节点度与权重谱范数，如何影响GNNs的泛化性能。
• 将全连接网络与卷积网络的既有泛化界扩展至GNNs，表明在无边（即退化情形）时，这些界是自然的推广。
• 通过更紧密地依赖最大节点度与隐藏层维度大小，改进现有基于Rademacher复杂度的MPGNNs边界。
• 为非同质GNNs开发新颖的证明技术，包括基于向量ℓ₂范数的扰动分析，以及用于PAC-Bayes分析的有限覆盖构造。

提出的方法

• 将Neyshabur等人（2017）的PAC-Bayesian框架适配至GNNs，由于ReLU在谱范数下的非1-Lipschitz性质，需引入新颖的适应机制。
• 通过最大ℓ₂范数的递归分析节点表示，以支持基于向量ℓ₂范数的扰动分析，克服直接使用谱范数扰动的局限性。
• 引入一种新的与权重相关的量，满足PAC-Bayes约束，并为非同质GNNs构造有限覆盖，从而实现对MPGNNs的泛化。
• 为GCNs推导泛化界，显示其包含各层谱范数的乘积，并乘以因子d^{(l-1)/2}，其中d为最大节点度，l为网络深度。
• 为MPGNNs推导边界，显示其对谱范数的类似依赖关系，并包含d^{l-1}因子，反映消息传递传播与图拓扑的影响。
• 基于推导出的表达式与理论框架中的常数，在真实世界与合成数据集上对边界值进行计算与比较。

实验结果

研究问题

• RQ1 图结构统计量（如最大节点度与权重谱范数）如何影响GNNs的泛化性能？
• RQ2 PAC-Bayesian框架能否扩展至非同质GNNs（如消息传递GNNs），其不满足f(ax) = af(x)的性质？
• RQ3 GCNs的泛化界是否为全连接与卷积网络现有边界的自然推广（在ReLU激活下）？
• RQ4 与Garg等人（2020）基于Rademacher复杂度的边界相比，本文提出的MPGNNs的PAC-Bayes边界在紧致性上如何？
• RQ5 该理论边界是否与多样化的真实世界与合成图数据集上的实证性能相关？

主要发现

• GCNs的泛化界包含一个乘法因子d^{(l-1)/2}，其中d为最大节点度，l为网络深度；当d=1（即无边）时，该界退化为ReLU网络的标准边界。
• MPGNNs的边界依赖于谱范数的几何级数与d^{l-1}因子，反映了跨层消息传递与图拓扑的累积效应。
• 所提出的MPGNNs的PAC-Bayes边界通过更紧密地依赖最大节点度与最大隐藏维度，优于基于Rademacher复杂度的边界。
• 在真实数据集（PROTEINS、IMDB、COLLAB）上的实证评估表明，PAC-Bayes边界始终比Rademacher边界更紧，对于l=2，log-bound值最高降低2.36；对于l=4，最高降低1.94。
• 在合成数据集（ER与SBM）上，除l=8且d较小时的一个例外情况外，PAC-Bayes边界始终更紧，此时d^{l-1}项对l的二次依赖开始占主导。
• 在真实与合成数据上计算的边界值表明，理论边界能适当随模型深度与图复杂度而缩放，支持其实际相关性。