[论文解读] Graph Neural Tangent Kernel: Convergence on Large Graphs

Sanjukta Krishnagopal, Luana Ruiz|arXiv (Cornell University)|Jan 25, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本文引入图神经正切核（WNTK）作为图神经正切核（GNTK）在图序列增长极限下的极限形式，证明了在大图极限下，GNTK及其谱收敛于WNTK。这使得基于GNTK的学习动态与收敛速率可从较小图迁移至较大图，为通过在较小代表性图上进行核回归来训练大规模网络的GNN提供了理论保证。

ABSTRACT

Graph neural networks (GNNs) achieve remarkable performance in graph machine learning tasks but can be hard to train on large-graph data, where their learning dynamics are not well understood. We investigate the training dynamics of large-graph GNNs using graph neural tangent kernels (GNTKs) and graphons. In the limit of large width, optimization of an overparametrized NN is equivalent to kernel regression on the NTK. Here, we investigate how the GNTK evolves as another independent dimension is varied: the graph size. We use graphons to define limit objects -- graphon NNs for GNNs, and graphon NTKs for GNTKs -- , and prove that, on a sequence of graphs, the GNTKs converge to the graphon NTK. We further prove that the spectrum of the GNTK, which is related to the directions of fastest learning which becomes relevant during early stopping, converges to the spectrum of the graphon NTK. This implies that in the large-graph limit, the GNTK fitted on a graph of moderate size can be used to solve the same task on the large graph, and to infer the learning dynamics of the large-graph GNN. These results are verified empirically on node regression and classification tasks.

研究动机与目标

• 理解在大规模图上过参数化GNN的训练动态，其中传统分析方法面临挑战。
• 形式化GNTK在图大小增加时的极限行为，使用图函数作为理论框架。
• 建立GNTK及其特征值收敛于一个明确定义的极限对象——图函数正切核（WNTK）——以实现跨图尺寸的可迁移性。
• 提供理论与实证证据，表明在中等规模图上训练的GNTK可预测在远大于其规模的图上的学习动态与收敛速率。

提出的方法

• 将图函数正切核（WNTK）定义为当底层图序列在图函数意义下收敛时，GNTK的极限形式。
• 通过数学归纳法，在图函数与GNN架构满足弱正则性条件的前提下，证明GNTK收敛于WNTK。
• 建立GNTK对WNTK的谱收敛性，表明GNTK的特征值与特征向量收敛于WNTK的对应值。
• 利用NTK形式化方法，将GNN训练动态与核回归关联，从而通过特征值衰减分析收敛速度。
• 通过图函数采样生成图尺寸递增的图序列，以实现对GNTK与特征值行为收敛性的实证验证。
• 在小图上使用GNTK进行核回归，并将模型迁移至更大图，验证性能与收敛速率。

Figure 1: Difference between the test error achieved by the GNTK fitted on the $n$ -node graph when used for prediction the $n$ -node graph, and the test error achived by the same GNTK when used for predicition on the $N$ -node graph. (left) Opinion dynamics on geometric and SBM graphs, where the te

实验结果

研究问题

• RQ1 随着图尺寸增大，图神经正切核（GNTK）是否收敛于一个明确定义的极限对象？
• RQ2 GNTK的谱——与沿不同特征方向的学习速度相关——是否在图增长过程中收敛于一个极限？
• RQ3 能否在小图上训练的GNTK用于预测在远大于其规模的图上GNN的学习动态与收敛速率？
• RQ4 在真实世界与合成图序列上，GNTK及其谱的收敛行为在实证上如何表现？

主要发现

• 通过图函数收敛序列上的数学归纳法证明，GNTK在图尺寸趋于无穷大时收敛于图函数NTK（WNTK）。
• GNTK的特征值收敛于WNTK的特征值，意味着沿主成分的收敛速度等学习动态在不同图尺寸间保持一致。
• 在Cora、CiteSeer与PubMed引文网络中，随着图尺寸增大，GNTK的主导特征值趋于稳定，其中1600节点图对除PubMed外所有数据集的全图特征值逼近程度达到70%以上。
• 实证结果表明，在小图上训练的GNN与GNTK表现出对齐的输出结果，并且随着宽度增加方差减小，验证了NTK近似的有效性。
• 在小图上使用GNTK进行核回归，可在全图上实现与全图训练相当的性能，证明了其可迁移性并具备理论保证。
• GNTK谱的收敛性使得能够从计算上可行的小图中估计大规模图上GNN的收敛速率。

Figure 2: Projections of the inputs and outputs of the GNTK and GNN, and of the target or true labels onto the second eigenvector of the adjacency matrix of a $80$ -node SBM graph for widths $F=10$ (left), $F=50$ (center) and $F=250$ (right).