[论文解读] Evaluating Deep Graph Neural Networks

Wentao Zhang, Zeang Sheng+5 more|arXiv (Cornell University)|Aug 2, 2021

Advanced Graph Neural Networks参考文献 59被引用 16

一句话总结

该论文将深度图神经网络（GNNs）中深层传播导致的过平滑与深层变换导致的模型退化，识别为核心局限。提出DGMLP——一种解耦的GNN框架，将传播与变换解耦，实现可扩展的深层架构并支持自适应深度控制，在大规模图上实现了最先进性能，兼具高准确率、对稀疏性的鲁棒性以及高效性。

ABSTRACT

Graph Neural Networks (GNNs) have already been widely applied in various graph mining tasks. However, they suffer from the shallow architecture issue, which is the key impediment that hinders the model performance improvement. Although several relevant approaches have been proposed, none of the existing studies provides an in-depth understanding of the root causes of performance degradation in deep GNNs. In this paper, we conduct the first systematic experimental evaluation to present the fundamental limitations of shallow architectures. Based on the experimental results, we answer the following two essential questions: (1) what actually leads to the compromised performance of deep GNNs; (2) when we need and how to build deep GNNs. The answers to the above questions provide empirical insights and guidelines for researchers to design deep and well-performed GNNs. To show the effectiveness of our proposed guidelines, we present Deep Graph Multi-Layer Perceptron (DGMLP), a powerful approach (a paradigm in its own right) that helps guide deep GNN designs. Experimental results demonstrate three advantages of DGMLP: 1) high accuracy -- it achieves state-of-the-art node classification performance on various datasets; 2) high flexibility -- it can flexibly choose different propagation and transformation depths according to graph size and sparsity; 3) high scalability and efficiency -- it supports fast training on large-scale graphs. Our code is available in https://github.com/zwt233/DGMLP.

研究动机与目标

• 系统评估深层GNN的根本局限，特别是深层架构中的性能退化问题。
• 探究深层GNN性能下降的根本原因，挑战关于过平滑、过拟合与耦合性的常见假设。
• 为构建深层、高精度且可扩展的GNN提供实证洞察与设计指导。
• 开发并验证一种新型GNN架构DGMLP，支持大范围传播与变换深度，具备高度灵活性与效率。

提出的方法

• 提出一种解耦架构，将嵌入传播（EP）与嵌入变换（ET）分离为独立模块。
• 引入节点自适应组合机制，基于节点的局部结构动态控制其表示的平滑程度。
• 采用多层感知机（MLP）进行变换，支持可学习的深度，实现对变换深度的灵活控制。
• 使用温度控制的软路由机制，平衡不同传播层的贡献，减轻过平滑问题。
• 基于图的大小与稀疏性，支持传播深度（$D_p$）与变换深度（$D_t$）的独立扩展。
• 采用图平滑度水平（GSL）作为度量指标，对不同模型的过平滑现象进行定量分析与比较。

实验结果

研究问题

• RQ1 GNN中深层卷积操作的堆叠实际受什么限制？为何解耦EP与ET能支持更多传播步骤？
• RQ2 除过平滑外，深层GNN的性能退化由何原因引起？如何缓解？
• RQ3 如何根据图的特性（如大小与稀疏性）设置传播深度（$D_p$）与变换深度（$D_t$）？
• RQ4 解耦的深层GNN架构是否能在准确率、可扩展性与鲁棒性方面超越现有SOTA模型？

主要发现

• 在七个真实世界数据集的节点分类任务中，DGMLP在性能上优于SGC、DAGNN、S²GC与GBP，尤其在高传播深度下表现更优。
• 当$D_p$增至100时，DGMLP的图平滑度水平（GSL）仍高于SGC在$D_p=5$时的水平，证明其对过平滑具有更强的鲁棒性。
• 在PubMed数据集（10%特征稀疏性）上，DGMLP的准确率仅轻微下降，优于所有基线模型，展现出优异的抗干扰能力。
• 在每类仅11个训练节点的情况下，DGMLP的性能可与SGC在每类20个训练节点下训练的结果相媲美，表明其具有极高的样本效率。
• 当$D_t$超过10后，SGC与DAGNN等基线模型性能显著下降，而DGMLP的性能保持稳定或进一步提升，证明其对模型退化具有强韧性。
• 在ogbn-arxiv数据集上，DGMLP在$D_p=20$与$D_t=10$时达到SOTA准确率，证实其可在不发生性能崩溃的前提下实现深层扩展。