[论文解读] GResNet: Graph Residual Network for Reviving Deep GNNs from Suspended Animation

Jiawei Zhang, Lin Meng|arXiv (Cornell University)|Sep 12, 2019

Advanced Graph Neural Networks参考文献 41被引用 46

一句话总结

本文提出 GResNet，一种图残差学习框架，通过创建广泛的高速公路连接来在深度 GNN 中保留节点表示，解决暂停动画问题，并在标准图数据集上提升性能。

ABSTRACT

The existing graph neural networks (GNNs) based on the spectral graph convolutional operator have been criticized for its performance degradation, which is especially common for the models with deep architectures. In this paper, we further identify the suspended animation problem with the existing GNNs. Such a problem happens when the model depth reaches the suspended animation limit, and the model will not respond to the training data any more and become not learnable. Analysis about the causes of the suspended animation problem with existing GNNs will be provided in this paper, whereas several other peripheral factors that will impact the problem will be reported as well. To resolve the problem, we introduce the GResNet (Graph Residual Network) framework in this paper, which creates extensively connected highways to involve nodes' raw features or intermediate representations throughout the graph for all the model layers. Different from the other learning settings, the extensive connections in the graph data will render the existing simple residual learning methods fail to work. We prove the effectiveness of the introduced new graph residual terms from the norm preservation perspective, which will help avoid dramatic changes to the node's representations between sequential layers. Detailed studies about the GResNet framework for many existing GNNs, including GCN, GAT and LoopyNet, will be reported in the paper with extensive empirical experiments on real-world benchmark datasets.

研究动机与目标

• 在增加深度时，识别并分析深度 GCN/GNN 模型中的暂停动画问题。
• 提出图残差项和 Graph Residual Network (GResNet) 架构，以在各层之间维持信息流。
• 从理论上分析范数保持性，以解释为何图残差有助于避免表示崩溃。
• 在标准图数据集上用深层架构对 GResNet 进行经验验证（如 Cora、Citeseer、PubMed），并与基线 GNNs（GCN、GAT、LoopyNet）进行比较。

提出的方法

• 在图结构和归一化邻接矩阵的特征值的意义下，定义并分析光谱 GCN 的暂停动画极限。
• 提出图残差项（naive、graph-naive、raw、graph-raw），以替代或增强标准层更新，从而实现广泛的层间特征传播。
• 将 GResNet 层更新公式表述为 H^(k) = ReLU( Ã H^(k-1) W^(k-1) + R(H^(k-1), X; G) ), 其中 R 项表示编码节点级和图级残差的各种形式。
• 从范数保持性的角度提供理论依据，展示残差项如何稳定梯度流并在各层之间保持表示。
• 通过实验证明更深的 GResNet 变体能够避免暂停动画，并在基准数据集上超越 vanilla GCN/GAT/LoopyNet 基线。

实验结果

研究问题

• RQ1 在具有谱图卷积的深度 GNN 中，暂停动画现象的成因是什么？
• RQ2 带图感知的残差项是否有助于在多层之间保持节点表示并扩展 GNN 的有效深度？
• RQ3 在标准基准上，不同的图残差公式在准确率和训练稳定性方面的比较如何？
• RQ4 关于范数保持性的理论见解能否解释 GResNet 的经验收益？
• RQ5 在真实世界数据集上，GResNet 在 vanilla GCN、GAT 和 LoopyNet 主干上的表现如何？

主要发现

• 深度 GCN/GNN 表现出暂停动画极限：随着深度增加，学习性能下降，最终对数据不再响应。
• 与图结构相关的图残差项（graph-naive、graph-raw）提升了深层架构，使深层网络获得更高的准确性。
• 带有图残余的 GResNet 变体在 Cora、Citeseer、PubMed 等基准数据集上，跨多个主干（GCN、GAT、LoopyNet）达到高于 vanilla 基线的准确性。
• 本文提供了范数保持性分析，表明残差项有助于在各层稳定表示，支持深层 GNN 的有效训练。
• 实验结果表明，较深的 GResNet 模型可以超过较浅的同类，表明所提出的残差设计缓解了深度带来的退化。