[论文解读] Convolutional Kernel Networks for Graph-Structured Data

Dexiong Chen, Laurent Jacob+1 more|arXiv (Cornell University)|Mar 11, 2020

Advanced Graph Neural Networks参考文献 32被引用 19

一句话总结

本文提出了图卷积核网络（GCKN），这是一种新颖的框架，通过基于多层路径的核特征映射对图结构数据进行建模，统一了图核方法与图神经网络。通过利用Nystroem方法实现高效的核近似，GCKN在图分类基准上实现了具有竞争力的性能，同时支持无监督表征学习与端到端训练，并通过基序发现实现强可解释性。

ABSTRACT

We introduce a family of multilayer graph kernels and establish new links between graph convolutional neural networks and kernel methods. Our approach generalizes convolutional kernel networks to graph-structured data, by representing graphs as a sequence of kernel feature maps, where each node carries information about local graph substructures. On the one hand, the kernel point of view offers an unsupervised, expressive, and easy-to-regularize data representation, which is useful when limited samples are available. On the other hand, our model can also be trained end-to-end on large-scale data, leading to new types of graph convolutional neural networks. We show that our method achieves competitive performance on several graph classification benchmarks, while offering simple model interpretation. Our code is freely available at https://github.com/claying/GCKN.

研究动机与目标

• 通过为图结构数据引入多层核框架，弥合图核方法与图神经网络之间的差距。
• 利用基于路径的核特征映射，实现无监督、表达性强且可正则化的图表征。
• 在有足够标注数据时，支持模型作为GNN的端到端训练。
• 通过使用路径而非游走进行邻域聚合，提升表达能力，超越Weisfeiler-Lehman核方法。
• 通过识别对预测起关键作用的子图模式，实现基于基序的可解释模型分析。

提出的方法

• 该模型通过一系列基于递增长度路径的核特征映射来表示每个节点的局部结构，捕捉子图模式。
• 利用Nystroem方法对每一层的核特征映射进行近似，实现可扩展的计算。
• 通过在图中所有节点上池化最后一层的节点表征，获得最终的图表征。
• 该框架支持无监督的核风格学习，以及具有可学习滤波器的端到端GNN训练。
• 通过将图像/序列感受野替换为基于路径的感受野，将卷积核网络（CKN）推广至图结构。
• 该方法采用高斯核比较路径属性，实现路径间软性、可微的相似性计算。

实验结果

研究问题

• RQ1 图的多层核框架能否在性能上与图核和GNN相媲美？
• RQ2 在聚合过程中使用路径而非游走，是否能产生比WL方法更具表达力的表征？
• RQ3 该模型能否在保留核方法可解释性的同时，有效实现作为GNN的端到端训练？
• RQ4 该模型在具有类别型与连续型节点属性的数据集上的性能表现如何？
• RQ5 该模型能否在图分类任务中识别出化学上有意义的子结构，例如致突变功能团？

主要发现

• GCKN-path在ENZYMES数据集上达到SOTA性能，测试准确率为75.7% ± 1.1，优于RBF-WL与HGK-WL。
• 在COX2数据集上，GCKN-3layers-unsup达到82.0% ± 0.6的准确率，优于除GCKN-subtree-sup外的所有其他模型。
• 在BZR数据集上，GCKN-subtree-sup达到86.4% ± 0.5的准确率，甚至超越GNTK模型，证明了在连续属性图上进行有监督滤波器学习的优势。
• 该模型成功识别出Mutagenicity数据集中已知的致突变子结构，如多环芳烃和NO₂基团。
• GCKN-subtree-unsup在COX2上达到81.8% ± 0.8的准确率，无需微调即表现出强劲性能。
• 多层GCKN变体在计算复杂度上低于GCKN-path，同时保持了具有竞争力的准确率，尤其在路径本身已具预测能力的数据集中表现更优。