[论文解读] Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

Simon S. Du, Kangcheng Hou+4 more|arXiv (Cornell University)|May 30, 2019

Advanced Graph Neural Networks参考文献 33被引用 74

一句话总结

引入 Graph Neural Tangent Kernels (GNTKs)，一种对应于通过梯度下降训练的无穷宽 GNNs 的核，在保持核的易训练性和分析性的同时，在图分类任务上取得了显著性能。

ABSTRACT

While graph kernels (GKs) are easy to train and enjoy provable theoretical guarantees, their practical performances are limited by their expressive power, as the kernel function often depends on hand-crafted combinatorial features of graphs. Compared to graph kernels, graph neural networks (GNNs) usually achieve better practical performance, as GNNs use multi-layer architectures and non-linear activation functions to extract high-order information of graphs as features. However, due to the large number of hyper-parameters and the non-convex nature of the training procedure, GNNs are harder to train. Theoretical guarantees of GNNs are also not well-understood. Furthermore, the expressive power of GNNs scales with the number of parameters, and thus it is hard to exploit the full power of GNNs when computing resources are limited. The current paper presents a new class of graph kernels, Graph Neural Tangent Kernels (GNTKs), which correspond to infinitely wide multi-layer GNNs trained by gradient descent. GNTKs enjoy the full expressive power of GNNs and inherit advantages of GKs. Theoretically, we show GNTKs provably learn a class of smooth functions on graphs. Empirically, we test GNTKs on graph classification datasets and show they achieve strong performance.

研究动机与目标

• 动机：将图核的优点（易于训练、理论保证）与图神经网络的表达能力相结合。
• 提出一种将广泛类别的 GNN 转换为 Graph Neural Tangent Kernels (GNTKs) 的通用方法。
• 给出理论保证，在某些条件下，GNTK 能以多项式样本复杂度学习到平滑的图函数。
• 在标准图分类基准上对 GNTK 进行实证验证，并与最先进方法进行比较。

提出的方法

• 通过推导闭式、逐层协方差递推，将包括 GIN、GCN 和 JK-Net 在内的广义 GNN 转换为相应的 GNTK。
• 利用无限宽度的 NTK 理论，推导出成对核值 Theta(G, G') 的解析表达，而无需训练。
• 使用动态规划方法，通过 BLOCK 和 READOUT 运算传播协方差矩阵 Sigma 与中间核 Theta。
• 提供一个 Readout 步骤（可有或无 Jumping Knowledge）来获得图对的最终 GNTK 值。
• 给出一个基于简单 GNN 的 GNTK 的理论泛化分析，包括在特定数据生成假设下的样本复杂度。

实验结果

研究问题

• RQ1 我们能否构造一个同时具备 GNN 表达能力、又保留图核的可训练性和保证的核？
• RQ2 如何系统地将常见的 GNN 架构转化为相应的 GNTK 并高效计算成对图的相似性？
• RQ3 GNTK 是否对平滑的图函数提供理论泛化保证和多项式样本可学习性？
• RQ4 在标准图分类基准上，GNTK 相对于最先进的 GNN 和图核的表现如何？

主要发现

方法	COLLAB	IMDB-B	IMDB-M	PTC	NCI1	MUTAG	PROTEINS
GNN（GCN、GraphSAGE、DGCNN、GIN）	79.0 ± 1.8	74.0 ± 3.4	51.9 ± 3.8	64.2 ± 4.3	80.2 ± 2.0	85.6 ± 5.8	76.0 ± 3.2
GK（WL 子树）	78.9 ± 1.9	73.8 ± 3.9	50.9 ± 3.8	59.9 ± 4.3	86.0 ± 1.8	90.4 ± 5.7	75.0 ± 3.1
AWL	73.9 ± 1.9	74.5 ± 5.9	51.5 ± 3.6	–	–	87.9 ± 9.8	–
RetGK	81.0 ± 0.3	71.9 ± 1.0	47.7 ± 0.3	62.5 ± 1.6	84.5 ± 0.2	90.3 ± 1.1	75.8 ± 0.6
GNTK	83.6 ± 1.0	76.9 ± 3.6	52.8 ± 4.6	67.9 ± 6.9	84.2 ± 1.5	90.0 ± 8.5	75.6 ± 4.2

• GNTKs 在若干图分类数据集上取得了最先进或较强的性能，尤其在 COLLAB 上 83.6%，在 PTC 上 67.9%，领先于许多基线。
• GNTKs 在社交网络和生物信息学图上通常优于相应的 GNN 基线，同时在某些设置（如 IMDB-B）下提供更快的计算。
• 实证结果表明，在更深的聚合（更多 BLOCKs）和在许多情况下使用 Jumping Knowledge 时，GNTK 性能提升，体现了 GNN 优势的继承。
• 本文给出了 GK/GNN 融合的首次多项式样本规模泛化分析，表明某些 GNTK 变体能够以多项式样本复杂度学习平滑的图函数。
• GNTKs 维持了核级的可训练性和分析性，同时捕捉了 GNN 的高阶、多层信息特性。