[论文解读] DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification

Jun Wu, Jingrui He+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Graph Neural Networks参考文献 28被引用 14

一句话总结

DEMO-Net 是一种针对节点度数的图神经网络，通过多任务学习显式建模节点度数感知、以种子为中心和无序的图卷积，从而提升节点和图分类性能。它通过针对度数的权重共享或哈希函数保留度数特定的结构信息，并采用一种新颖的基于希尔伯特核的图级别池化方案，在基准数据集上实现了最先进性能。

ABSTRACT

Graph data widely exist in many high-impact applications. Inspired by the success of deep learning in grid-structured data, graph neural network models have been proposed to learn powerful node-level or graph-level representation. However, most of the existing graph neural networks suffer from the following limitations: (1) there is limited analysis regarding the graph convolution properties, such as seed-oriented, degree-aware and order-free; (2) the node's degree-specific graph structure is not explicitly expressed in graph convolution for distinguishing structure-aware node neighborhoods; (3) the theoretical explanation regarding the graph-level pooling schemes is unclear. To address these problems, we propose a generic degree-specific graph neural network named DEMO-Net motivated by Weisfeiler-Lehman graph isomorphism test that recursively identifies 1-hop neighborhood structures. In order to explicitly capture the graph topology integrated with node attributes, we argue that graph convolution should have three properties: seed-oriented, degree-aware, order-free. To this end, we propose multi-task graph convolution where each task represents node representation learning for nodes with a specific degree value, thus leading to preserving the degree-specific graph structure. In particular, we design two multi-task learning methods: degree-specific weight and hashing functions for graph convolution. In addition, we propose a novel graph-level pooling/readout scheme for learning graph representation provably lying in a degree-specific Hilbert kernel space. The experimental results on several node and graph classification benchmark data sets demonstrate the effectiveness and efficiency of our proposed DEMO-Net over state-of-the-art graph neural network models.

研究动机与目标

• 为解决现有图神经网络在捕捉节点和图表示中度数特定结构信息方面的局限性。
• 形式化图卷积，使其具备三个关键特性：以种子为中心、度数感知和无序，受 Weisfeiler-Lehman 同构性测试的启发。
• 设计一种多任务学习框架，其中每个任务对应一个特定的节点度数，以增强结构区分能力。
• 开发一种理论基础坚实的图级别池化机制，确保表示位于度数特定的希尔伯特核空间中。
• 通过实证验证 DEMO-Net 在节点和图分类基准任务中的有效性和效率。

提出的方法

• 将图卷积形式化为多任务学习问题，每个任务专门针对特定度数值的节点。
• 提出两种变体：针对度数的权重共享和针对度数的哈希函数，用于按度数参数化卷积。
• 采用一种新颖的图级别池化方案，将节点表示投影到度数特定的希尔伯特核空间中，确保理论一致性。
• 使用受 Weisfeiler-Lehman 测试启发的递归邻域聚合机制，基于局部拓扑结构迭代优化节点表示。
• 采用端到端训练，节点和图分类任务均使用交叉熵损失。
• 支持监督和无监督预训练设置，并对池化变体进行了消融实验。

实验结果

研究问题

• RQ1 通过保留相同度数节点之间结构差异，基于度数的图卷积能否提升节点表示学习？
• RQ2 将度数感知性融入图卷积，对邻域结构的区分能力有何影响？
• RQ3 一种新颖的图级别池化机制能否在理论上将图表示映射到度数特定的希尔伯特核空间？
• RQ4 DEMO-Net 在标准节点和图分类基准数据集上是否优于现有的最先进 GNN 和图核方法？
• RQ5 DEMO-Net 的计算效率如何随图大小和唯一度数数量的变化而变化？

主要发现

• 在 MUTAG 数据集上，DEMO-Net（权重）达到 81.4% 的准确率，优于所有基线方法，包括 DeepWL、DCNN、PATCHY-SAN 和 DIFFPOOL。
• 在 ENZYMES 数据集上，DEMO-Net（权重）达到 27.2% 的准确率，超过次优方法（DIFFPOOL 为 18.4%）。
• 度数特定的池化方案在所有数据集上均持续优于平均池化基线，证实了其有效性。
• DEMO-Net（哈希）在 MUTAG 上达到 77.1% 的准确率，在 ENZYMES 上达到 25.1%，展示了在更低参数复杂度下的强大泛化能力。
• 每轮训练的墙钟时间与节点数呈线性关系，且在节点分类任务中显著优于 GAT。
• 哈希变体的时间复杂度为 O(nFF′ + mF′)，权重变体为 O(T(nFF′ + mF′))，当 T ≪ n 且 T ≪ m 时，两者在实际中均为线性。