[论文解读] Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion

Haotian Ju, Dongyue Li+2 more|arXiv (Cornell University)|Feb 9, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

该论文通过用图扩散矩阵的谱范数替代对最大度的依赖，改进了图神经网络（GNNs）的泛化边界，从而获得了显著更紧致的边界。利用PAC-Bayesian分析和基于Hessian矩阵的稳定性度量，作者推导出与谱范数成比例的上界和匹配的下界，并在真实图数据上通过实证验证，这些边界比以往方法小了数个数量级。

ABSTRACT

Graph neural networks are widely used tools for graph prediction tasks. Motivated by their empirical performance, prior works have developed generalization bounds for graph neural networks, which scale with graph structures in terms of the maximum degree. In this paper, we present generalization bounds that instead scale with the largest singular value of the graph neural network's feature diffusion matrix. These bounds are numerically much smaller than prior bounds for real-world graphs. We also construct a lower bound of the generalization gap that matches our upper bound asymptotically. To achieve these results, we analyze a unified model that includes prior works' settings (i.e., convolutional and message-passing networks) and new settings (i.e., graph isomorphism networks). Our key idea is to measure the stability of graph neural networks against noise perturbations using Hessians. Empirically, we find that Hessian-based measurements correlate with the observed generalization gaps of graph neural networks accurately. Optimizing noise stability properties for fine-tuning pretrained graph neural networks also improves test performance on several graph-level classification tasks.

研究动机与目标

• 解决现有GNN泛化边界依赖于最大图度数而常导致平凡边界的弱点。
• 开发更紧致、非平凡的泛化边界，以更准确地反映真实世界图结构。
• 在统一的理论框架下，将分析统一应用于包括消息传递、GCN和GIN模型在内的各类GNN架构。
• 建立基于Hessian矩阵的稳定性与GNN中观测到的泛化差距之间的理论联系。
• 通过优化噪声稳定性，实现预训练GNN的改进微调。

提出的方法

• 提出一个统一的模型框架，涵盖GCN、消息传递网络和GIN模型，以实现联合理论分析。
• 应用PAC-Bayesian泛化理论，通过噪声扰动下的稳定性来界定泛化差距。
• 利用损失函数关于模型权重的Hessian矩阵来量化稳定性并推导边界。
• 用图扩散矩阵 $P_G^{l-1}$ 的谱范数替代先前边界中对最大度的依赖。
• 推导出泛化差距的上界，其与 $\|P_G^{l-1}\|$（即扩散矩阵的谱范数）成比例。
• 构造一个匹配的下界实例，表明泛化差距渐近地与 $\|P_G^{l-1}\|$ 成比例。

(a) Spectral norm vs. max degree for five graphs

实验结果

研究问题

• RQ1 能否通过用扩散矩阵的谱范数替代最大度数来改进GNN的泛化边界？
• RQ2 基于Hessian矩阵的稳定性与GNN中实际观测到的泛化差距之间有何相关性？
• RQ3 所提出的边界是否能统一应用于GCN、MPNN和GIN等不同GNN架构？
• RQ4 与最大度数相比，谱范数是否是量化GNN泛化能力的更优复杂度度量？
• RQ5 在微调过程中优化噪声稳定性是否能提升图级别任务上的测试性能？

主要发现

• 所提出的泛化边界与图扩散矩阵 $P_G^{l-1}$ 的谱范数成比例，该值在真实图上比最大度数小了数个数量级。
• 实证结果表明，基于Hessian矩阵的稳定性度量与多种GNN模型和数据集上的观测泛化差距具有强相关性。
• 泛化差距的上界与下界渐近匹配，证实了谱范数作为复杂度度量的紧致性。
• 在五个真实图数据集上，基于谱范数的边界显著优于以往依赖于最大度数的边界。
• 在微调过程中优化噪声稳定性可提升图级别分类任务上的测试性能，证明了其实际应用价值。
• 理论框架统一了GCN、MPNN和GIN模型的分析，显示出对 $\|P_G^{l-1}\|$ 的一致依赖性。

(b) Comparing generalization bounds