[论文解读] Adaptive Graph Diffusion Networks

Chuxiong Sun, Jie Hu+3 more|arXiv (Cornell University)|Dec 30, 2020

Advanced Graph Neural Networks被引用 9

一句话总结

本文提出自适应图扩散网络（AGDNs），一种新颖的图神经网络（GNN）架构，通过在各层中对节点表征进行可学习、自适应加权，增强多跳信息传递。AGDNs 在多个 OGB 基准测试中实现最先进性能，且训练和推理运行时间显著低于 SOTA 模型（如 RevGNN 和 SEAL）。

ABSTRACT

Graph Neural Networks (GNNs) have received much attention in the graph deep learning domain. However, recent research empirically and theoretically shows that deep GNNs suffer from over-fitting and over-smoothing problems. The usual solutions either cannot solve extensive runtime of deep GNNs or restrict graph convolution in the same feature space. We propose the Adaptive Graph Diffusion Networks (AGDNs) which perform multi-layer generalized graph diffusion in different feature spaces with moderate complexity and runtime. Standard graph diffusion methods combine large and dense powers of the transition matrix with predefined weighting coefficients. Instead, AGDNs combine smaller multi-hop node representations with learnable and generalized weighting coefficients. We propose two scalable mechanisms of weighting coefficients to capture multi-hop information: Hop-wise Attention (HA) and Hop-wise Convolution (HC). We evaluate AGDNs on diverse, challenging Open Graph Benchmark (OGB) datasets with semi-supervised node classification and link prediction tasks. Until the date of submission (Aug 26, 2022), AGDNs achieve top-1 performance on the ogbn-arxiv, ogbn-proteins and ogbl-ddi datasets and top-3 performance on the ogbl-citation2 dataset. On the similar Tesla V100 GPU cards, AGDNs outperform Reversible GNNs (RevGNNs) with 13% complexity and 1% training runtime of RevGNNs on the ogbn-proteins dataset. AGDNs also achieve comparable performance to SEAL with 36% training and 0.2% inference runtime of SEAL on the ogbl-citation2 dataset.

研究动机与目标

• 通过解耦图卷积与特征变换，缓解深度图神经网络（GNNs）中的过平滑和过拟合问题。
• 克服标准图扩散方法中固定、预定义加权系数的局限性。
• 开发一种可扩展、高效的架构，在保持高模型容量的同时降低计算复杂度和运行时间。
• 通过自适应机制实现在不同特征空间中的有效多跳信息聚合。
• 在具有挑战性的 Open Graph Benchmark（OGB）数据集上实现最先进性能，同时提升效率。

提出的方法

• 提出图扩散网络（GDNs）作为改进框架，以高效的图扩散操作替代标准 GNN 层。
• 引入两种可学习、可扩展的机制——逐跳注意力（HA）和逐跳卷积（HC），用于计算多跳表征的自适应加权系数。
• 在多层中执行广义图扩散，将较小的多跳节点表征与可学习系数结合，而非使用大而密集的转移矩阵幂次。
• 解耦图卷积与特征变换，以减少冗余变换并缓解过拟合。
• 通过迭代计算多跳表征，避免显式存储大型扩散矩阵，提升内存效率。
• 将 AGDN 架构与标准 GNN 训练流水线集成，支持与现有技术（如邻居采样和残差连接）的兼容性。

实验结果

研究问题

• RQ1 与固定系数图扩散相比，对多跳节点表征进行可学习、自适应加权是否能提升图表示学习任务的性能？
• RQ2 将图卷积与特征变换解耦，是否能在不牺牲模型容量的前提下减少深度 GNN 中的过拟合与过平滑？
• RQ3 AGDN 是否能在 OGB 基准测试中实现最先进性能，同时显著降低训练和推理运行时间（相比 RevGNN 和 SEAL 等 SOTA 模型）？
• RQ4 在链接预测任务中，AGDN 表现如何，尤其与子图方法（如 SEAL）相比？
• RQ5 所提出的自适应机制（HA 和 HC）在捕捉多样化图结构中的长距离依赖关系方面，其增强作用有多大？

主要发现

• 截至 2022 年 8 月 26 日，AGDN 在 OGB 基准测试的 ogbn-arxiv、ogbn-proteins 和 ogbl-ddi 数据集上均达到最先进性能。
• 在 ogbn-proteins 上，AGDN 的模型复杂度比 RevGNN 低 13%，训练运行时间仅为后者的 1%（在相同 Tesla V100 GPU 上）。
• 在 ogbl-citation2 上，AGDN 实现前三名性能，训练时间减少 36%，推理时间仅为 SEAL 的 0.2%。
• 在 ogbl-ddi 上，AGDN 达到 Hits@20 为 95.38%，使用 AUC 损失，创下官方排行榜新最先进纪录。
• 即使在受 GPU 显存限制而采用邻居采样时，AGDN 在 ogbl-citation2 上仍优于全批量 GCN、GraphSAGE 和 PLNLP。
• 消融实验验证，AGDN 显著提升了 GAT 的链接预测性能，证实其自适应机制的有效性。