[论文解读] Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural Networks

Pascal Esser, Leena Chennuru Vankadara+1 more|arXiv (Cornell University)|Dec 7, 2021

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文表明，在特定分布假设下，经典学习理论度量——特别是归纳性 Rademacher 复杂度——能够有效解释图神经网络（GNNs）的泛化性能。该文基于随机块模型，在归纳性节点分类设置下，为图卷积网络（GCNs）提供了严格的泛化误差界，表明图结构与网络架构选择会影响泛化性能。

ABSTRACT

In recent years, several results in the supervised learning setting suggested that classical statistical learning-theoretic measures, such as VC dimension, do not adequately explain the performance of deep learning models which prompted a slew of work in the infinite-width and iteration regimes. However, there is little theoretical explanation for the success of neural networks beyond the supervised setting. In this paper we argue that, under some distributional assumptions, classical learning-theoretic measures can sufficiently explain generalization for graph neural networks in the transductive setting. In particular, we provide a rigorous analysis of the performance of neural networks in the context of transductive inference, specifically by analysing the generalisation properties of graph convolutional networks for the problem of node classification. While VC Dimension does result in trivial generalisation error bounds in this setting as well, we show that transductive Rademacher complexity can explain the generalisation properties of graph convolutional networks for stochastic block models. We further use the generalisation error bounds based on transductive Rademacher complexity to demonstrate the role of graph convolutions and network architectures in achieving smaller generalisation error and provide insights into when the graph structure can help in learning. The findings of this paper could re-new the interest in studying generalisation in neural networks in terms of learning-theoretic measures, albeit in specific problems.

研究动机与目标

• 探究经典学习理论度量是否可在监督学习之外的设置中解释 GNN 的泛化性能。
• 分析图卷积网络（GCNs）在归纳性设置下的节点分类任务中的泛化特性。
• 评估图结构与网络架构在最小化泛化误差方面的作用，使用归纳性 Rademacher 复杂度进行分析。
• 构建一个理论框架，将图信息与模型设计关联至泛化性能。
• 在特定且定义明确的设置中，重新激发对学习理论方法在理解 GNN 泛化性能方面应用的兴趣。

提出的方法

• 作者在归纳性节点分类设置中，使用归纳性 Rademacher 复杂度作为 GCNs 的泛化度量。
• 基于归纳性 Rademacher 复杂度，推导出在随机块模型（SBMs）上训练的 GCNs 的泛化误差界。
• 分析将图结构（通过 SBM 参数表示）与特征信息共同纳入泛化界。
• 通过改变图大小、标记节点数量以及特征与社区结构对齐程度，对理论界进行经验评估。
• 通过使用模型参数约束的实证估计（例如，β, ω ≈ 0.1）对界进行缩放，以可视化趋势。
• 在合成 SBM 数据与 Cora 引文网络上进行实验，采用 SGD 和 Adam 优化器，并调整超参数。

实验结果

研究问题

• RQ1 在特定分布假设下，经典学习理论度量（如归纳性 Rademacher 复杂度）是否能够解释 GNN 的泛化性能？
• RQ2 图结构与特征对齐程度如何影响归纳性设置下 GCNs 的泛化误差？
• RQ3 架构选择（如深度与残差连接）在理论界中对泛化误差的影响程度如何？
• RQ4 标记节点数量与图大小的变化如何影响泛化误差界？
• RQ5 基于归纳性 Rademacher 复杂度的理论界是否能反映 GNN 性能的经验趋势？

主要发现

• 与 VC 维导致平凡界不同，归纳性 Rademacher 复杂度为归纳性节点分类设置下的 GCNs 提供了非平凡的泛化误差界。
• 当特征与社区结构对齐程度提高时，泛化误差界减小。
• 增加标记节点数量（m）会降低泛化误差界，表明泛化性能得到改善。
• 图大小（n）增大时，泛化误差界减小，表明在相同条件下，更大的图可能具有更好的泛化能力。
• 残差连接与更深的架构（K=4）与更优的泛化性能相关，体现在更紧致的理论界中。
• 尽管由于松弛项超过 1，理论界未匹配实验中的绝对数值，但其准确捕捉了参数变化下泛化误差的定性趋势。