[论文解读] Generalization Analysis of Message Passing Neural Networks on Large Random Graphs

Sohir Maskey, Ron Levie+2 more|arXiv (Cornell University)|Feb 1, 2022

Machine Learning and ELM被引用 4

一句话总结

本文通过将图建模为随机块模型（图翁）的采样结果，为大规模随机图上的消息传递神经网络（MPNNs）提供了泛化边界。研究表明，即使训练集较小，随着图大小的增加，泛化误差也会下降，这是由于MPNN与其几何图翁对应物之间具有统一收敛性。其主要贡献是一个随平均图大小衰减的泛化边界，相较于先前方法，提供了更紧致的理论保证。

ABSTRACT

Message passing neural networks (MPNN) have seen a steep rise in popularity since their introduction as generalizations of convolutional neural networks to graph-structured data, and are now considered state-of-the-art tools for solving a large variety of graph-focused problems. We study the generalization error of MPNNs in graph classification and regression. We assume that graphs of different classes are sampled from different random graph models. We show that, when training a MPNN on a dataset sampled from such a distribution, the generalization gap increases in the complexity of the MPNN, and decreases, not only with respect to the number of training samples, but also with the average number of nodes in the graphs. This shows how a MPNN with high complexity can generalize from a small dataset of graphs, as long as the graphs are large. The generalization bound is derived from a uniform convergence result, that shows that any MPNN, applied on a graph, approximates the MPNN applied on the geometric model that the graph discretizes.

研究动机与目标

• 理解MPNN在图分类和回归任务中的泛化行为。
• 通过将图建模为随机图模型（如图翁）而非任意分布，推导更紧致的泛化边界。
• 证明泛化误差不仅随训练样本增多而减少，也随平均图大小增加而减少。
• 建立MPNN与其底层几何图翁模型之间的统一收敛性结果。
• 推导一个随平均图大小增加而衰减的泛化边界，优于现有随图复杂度增长的边界。

提出的方法

• 将图视为从随机块模型（图翁）中随机采样，将节点集视为从连续几何结构中独立同分布抽取。
• 应用统一收敛性理论，证明作用于有限图的任意MPNN可近似其在底层图翁模型上的MPNN。
• 使用杜德利不等式和次高斯集中性来界定MPNN类上经验损失与期望损失之间差值的上确界。
• 推导出形式为 $ GE^2 \leq \frac{C}{m} q(N) $ 的泛化边界，其中 $ q(N) $ 随平均图大小 $ N $ 衰减，不同于以往随 $ N $ 增长的边界。
• 在MPNN中采用均值聚合，并假设图翁和网络函数具有利普希茨连续性，以确保随机过程中的次高斯增量。
• 通过绘制泛化误差随图大小和图翁利普希茨范数的变化关系，对边界进行经验验证，结果表明其随 $ N $ 增大而衰减。

实验结果

研究问题

• RQ1 MPNN的泛化误差如何随训练集中图的大小变化？
• RQ2 若假设图的生成模型而非任意数据分布，能否推导出更紧致的泛化边界？
• RQ3 即使训练样本数量较少，增大图的大小是否仍能降低泛化误差？
• RQ4 MPNN架构的复杂度与图大小如何共同影响泛化性能？
• RQ5 能否建立有限图与其底层几何模型（图翁）之间的统一收敛性，以推导更紧致的边界？

主要发现

• 即使训练样本数量较少，MPNN的泛化误差也随平均图大小的增加而减小。
• 推导出的泛化边界随平均节点数 $ N $ 衰减，而不同于以往随 $ N $ 或平均度数增长的边界。
• 该边界通过MPNN在有限图上与其对应图翁模型之间的统一收敛性推导得出，利用了杜德利不等式和次高斯集中性。
• 实验结果证实，随着图大小增加，泛化边界减小，图4和图5中可清晰观察到反比关系。
• 图6显示，图翁的利普希茨范数越低，边界也越小，表明更平滑的图翁结构可带来更好的泛化性能。
• 该分析为MPNN在图较大时即使数据集较小也能良好泛化提供了理论依据，归因于底层图翁模型的几何规律性。