[论文解读] DeepGCNs: Can GCNs Go as Deep as CNNs?

Guohao Li, Matthias Müller+2 more|arXiv (Cornell University)|Apr 7, 2019

Advanced Graph Neural Networks参考文献 49被引用 107

一句话总结

简述：提出残差、密集和扩张连接策略，以训练非常深的 Graph Convolutional Networks (GCNs) 进行点云语义分割，在 56 层 GCN 的情况下，相较于现有方法获得 3.7% mIoU 的提升。

ABSTRACT

Convolutional Neural Networks (CNNs) achieve impressive performance in a wide variety of fields. Their success benefited from a massive boost when very deep CNN models were able to be reliably trained. Despite their merits, CNNs fail to properly address problems with non-Euclidean data. To overcome this challenge, Graph Convolutional Networks (GCNs) build graphs to represent non-Euclidean data, borrow concepts from CNNs, and apply them in training. GCNs show promising results, but they are usually limited to very shallow models due to the vanishing gradient problem. As a result, most state-of-the-art GCN models are no deeper than 3 or 4 layers. In this work, we present new ways to successfully train very deep GCNs. We do this by borrowing concepts from CNNs, specifically residual/dense connections and dilated convolutions, and adapting them to GCN architectures. Extensive experiments show the positive effect of these deep GCN frameworks. Finally, we use these new concepts to build a very deep 56-layer GCN, and show how it significantly boosts performance (+3.7% mIoU over state-of-the-art) in the task of point cloud semantic segmentation. We believe that the community can greatly benefit from this work, as it opens up many opportunities for advancing GCN-based research.

研究动机与目标

• 激励并解决 GCN 对非欧式数据的深度限制问题。
• 将 CNN 启发的机制（残差/密集连接、膨胀卷积）移植到 GCN 中。
• 研究这些机制对训练稳定性和性能的影响。
• 在大规模点云语义分割（S3DIS）上证明深层 GCN 的有效性。
• 提供全面的消融实验以指导未来深层 GCN 的设计。

提出的方法

• 用特征丰富的顶点嵌入和邻域聚合表示图。
• 引入残差和密集连接方案，以改善深 GCN 的梯度流动（ResGCN、DenseGCN）。
• 结合基于 dilated k-NN 的邻居采样，在不损失分辨率的情况下扩大感受野。
• 采用三块结构：GCN BackBone 块、Fusion 块和 MLP 预测块。
• 使用在训练期间逐层重新计算的动态边（膨胀的 k-NN），训练时为随机性。
• 在深度、宽度、邻居和膨胀方面进行广泛的消融研究，以分离对稳定性和性能的影响。

实验结果

研究问题

• RQ1 CNN 启发的深度提升技术（残差/密集连接、膨胀）能否有效迁移到 GCN？
• RQ2 残差与密集连接以及膨胀聚合对深 GCN 的稳定性和性能有何影响？
• RQ3 点云语义分割的 GCN 能有多深，以及哪些配置能带来最佳增益？
• RQ4 膨胀聚合是否增加感受野并在避免过平滑的情况下改善分割精度？
• RQ5 在 S3DIS 上，深层 ResGCN/DenseGCN 相对于最先进方法的性能对比如何？

主要发现

• 残差图连接对深 GCN 的稳定训练至关重要；移除它们会极大地降低性能。
• 通过扩展感受野的膨胀图卷积在 mIoU 上有显著增益，尤其与残差连接结合时。
• 通过膨胀的 k-NN 重新计算边的动态边能提高性能，但代价是更高的计算成本。
• 密集连接带来与残差类似的收益，但内存成本可能高昂，在许多设置中残差更具可行性。
• 参考模型 ResGCN-28（28 层、残差连接、膨胀卷积）在 S3DIS 上达到 60.0 mIoU，相较于 DGCNN 等最先进方法具明显优势。
• 采用这些机制的深层架构（56 层）取得了强劲结果，ResGCN-56 实现了 53.64 OA 和 53.64? 实际上 53.64 OA，主推是相较于基线的大幅 mIoU 提升。