[论文解读] DeeperGCN: All You Need to Train Deeper GCNs

Guohao Li, Chenxin Xiong+2 more|arXiv (Cornell University)|Jun 13, 2020

AI in cancer detection参考文献 49被引用 257

一句话总结

本文提出 DeeperGCN，一种通用聚合、前置激活残差与 MsgNorm 层的框架，用以可靠地训练非常深的 GCN，并在大型 Open Graph Benchmark 数据集上达到最先进的结果。

ABSTRACT

Graph Convolutional Networks (GCNs) have been drawing significant attention with the power of representation learning on graphs. Unlike Convolutional Neural Networks (CNNs), which are able to take advantage of stacking very deep layers, GCNs suffer from vanishing gradient, over-smoothing and over-fitting issues when going deeper. These challenges limit the representation power of GCNs on large-scale graphs. This paper proposes DeeperGCN that is capable of successfully and reliably training very deep GCNs. We define differentiable generalized aggregation functions to unify different message aggregation operations (e.g. mean, max). We also propose a novel normalization layer namely MsgNorm and a pre-activation version of residual connections for GCNs. Extensive experiments on Open Graph Benchmark (OGB) show DeeperGCN significantly boosts performance over the state-of-the-art on the large scale graph learning tasks of node property prediction and graph property prediction. Please visit https://www.deepgcns.org for more information.

研究动机与目标

• 动机并解决在大规模图上训练非常深的 GCN 的挑战（梯度消失、过平滑、过拟合）。
• 引入一个可微的通用聚合框架，用于统一并学习 GCN 的聚合函数。
• 开发架构和归一化创新（前置激活残差、MsgNorm）以稳定深层 GCN 的训练。
• 在 Open Graph Benchmark (OGB) 数据集上进行评估，以展示相较于现有 SOTA 方法的经验提升。

提出的方法

• 定义一个涵盖均值、最大值以及可学习的插值（SoftMax_Agg 和 PowerMean_Agg）的通用、可微分聚合函数。
• 提出 GENet：一种使用带正消息特征的通用聚合器的 GCN 变体，以使通用均值–最大值族可用。
• 为 GCN 引入前置激活残差连接（归一化 -> ReLU -> GraphConv -> 相加）以提高训练稳定性。
• 开发 MsgNorm：一个消息归一化层，在顶点更新前对聚合的消息进行缩放和归一化。
• 提供 DyResGEN 变体，在每一层和每个训练步骤动态学习聚合参数（beta, p）。
• 在 OGB 的节点和图预测任务上进行广泛评估，并与普通 GCN、ResGCN 以及 SOTA 基线进行比较。

实验结果

研究问题

• RQ1 一个通用、可微分的聚合函数是否可以提升深层 GCN 在大规模图上的可学习性与性能？
• RQ2 更新后的跳跃连接和新颖的归一化（MsgNorm）对深层 GCN 的训练稳定性和准确性有何影响？
• RQ3 动态学习的聚合参数（beta, p）是否在节点和图预测任务中进一步提升性能？
• RQ4 在不同任务上，DeeperGCN 能在多大程度上接近或超越 Open Graph Benchmark 数据集的 SOTA 结果？

主要发现

• 通用的均值–最大值聚合（SoftMax_Agg 和 PowerMean_Agg）统一并扩展了常见聚合器，并且可以端到端学习。
• 前置激活残差提高了性能，并使不同聚合器下的模型深度提升（最多 112 层）。
• MsgNorm 显著提升深层 GCN 的性能，尤其是在较弱的聚合器情况下。
• 动态学习聚合参数（DyResGEN）相较固定聚合器带来进一步提升，在若干任务上达到新的 SOTA。
• 在 OGBN-proteins、OGBN-arxiv、OGBG-ppa 和 OGBG-molhiv 上，DeeperGCN 变体显著超越先前的 SOTA。