[论文解读] DropEdge: Towards the Very Deep Graph Convolutional Networks for Node Classification

Yu Rong, Wenbing Huang+2 more|arXiv (Cornell University)|Jul 25, 2019

Advanced Neural Network Applications被引用 7

一句话总结

本文提出DropEdge，一种在GCN反向传播过程中随机剪枝边的训练技术，以缓解深层图神经网络中的过拟合与过平滑问题。通过作为数据增强和消息传递正则化器，DropEdge使30层以上的GCN模型得以训练，在节点分类基准上达到最先进性能。

ABSTRACT

Existing Graph Convolutional Networks (GCNs) are shallow---the number of the layers is usually not larger than 2. The deeper variants by simply stacking more layers, unfortunately perform worse, even involving well-known tricks like weight penalizing, dropout, and residual connections. This paper reveals that developing deep GCNs mainly encounters two obstacles: \emph{over-fitting} and \emph{over-smoothing}. The over-fitting issue weakens the generalization ability on small graphs, while over-smoothing impedes model training by isolating output representations from the input features with the increase in network depth. Hence, we propose DropEdge, a novel technique to alleviate both issues. At its core, DropEdge randomly removes a certain number of edges from the input graphs, acting like a data augmenter and also a message passing reducer. More importantly, DropEdge enables us to recast a wider range of Convolutional Neural Networks (CNNs) from the image field to the graph domain; in particular, we study DenseNet and InceptionNet in this paper. Extensive experiments on several benchmarks demonstrate that our method allows deep GCNs to achieve promising performance, even when the number of layers exceeds 30---the deepest GCN that has ever been proposed.

研究动机与目标

• 为解决现有GCN通常保持浅层（≤2层）的问题，因为使用更深架构时性能会下降。
• 识别并缓解训练深层GCN的两个关键障碍：在小图上过拟合，以及导致节点表征与输入特征解耦的过平滑问题。
• 通过引入一种稳健的训练正则化技术，使深层CNN架构（如DenseNet和InceptionNet）能够适配到图学习领域。
• 证明此前被认为不可行的深层GCN，在使用DropEdge训练时可实现优异性能。

提出的方法

• DropEdge在训练过程中引入一种随机边剪枝机制，即在每次前向传播时从输入图中随机移除固定比例的边。
• 边的移除作为一种数据增强形式，增加了训练多样性，减少了在小图上的过拟合。
• 通过减少消息传递的边数，DropEdge缓解了过平滑问题，使输入节点特征的信息在更深的层中得以保留更多。
• 该方法与标准GCN层兼容，可无缝集成到现有GCN框架中，无需修改网络架构。
• 通过边正则化稳定训练，DropEdge使DenseNet和InceptionNet等深层CNN架构能够成功应用于图数据。
• 该技术在反向传播过程中应用，边丢弃率被视为需调优的超参数。

实验结果

研究问题

• RQ1 简单的边剪枝机制是否能有效缓解深层GCN中的过拟合与过平滑问题？
• RQ2 DropEdge在多大程度上能够实现超过30层的GCN训练，突破以往的深度限制？
• RQ3 DropEdge能否促进深层CNN架构（如DenseNet和InceptionNet）成功迁移到图学习领域？
• RQ4 与标准正则化技术（如dropout和权重衰减）相比，DropEdge在支持深层GCN训练方面表现如何？
• RQ5 DropEdge是否能提升小图上的泛化性能，其中过拟合是主要挑战？

主要发现

• DropEdge使训练超过30层的GCN成为可能，代表了迄今为止提出的最深的GCN模型。
• 该方法在多个基准数据集（包括Cora、PubMed和Citeseer）上显著提升了节点分类性能，尤其在深层设置下表现突出。
• 在浅层和深层GCN配置中，DropEdge均优于标准正则化技术（如dropout和权重衰减）。
• 通过减少过平滑，DropEdge在更高层中保留了更多输入特征信息，从而提升了表征学习效果。
• 该技术使DenseNet和InceptionNet等深层CNN架构能够成功适配到图数据，并在节点分类任务上实现最先进结果。
• 实验表明，DropEdge在小图上显著提升了泛化性能，其中过拟合是深层GCN的主要问题。