[论文解读] Break the Ceiling: Stronger Multi-scale Deep Graph Convolutional Networks

Sitao Luan, Mingde Zhao+2 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Graph Neural Networks参考文献 35被引用 24

一句话总结

本文提出了两种新颖的深度图卷积网络架构——线性Snowball和截断Krylov GCN，利用块Krylov子空间方法提升多尺度信息提取能力和可扩展性。通过将图卷积重新表述为块Krylov形式，模型在节点分类任务上实现了最先进性能，尤其在训练数据有限的情况下，无论在直推设置还是归纳设置中，均显著优于现有GCN模型。

ABSTRACT

Recently, neural network based approaches have achieved significant improvement for solving large, complex, graph-structured problems. However, their bottlenecks still need to be addressed, and the advantages of multi-scale information and deep architectures have not been sufficiently exploited. In this paper, we theoretically analyze how existing Graph Convolutional Networks (GCNs) have limited expressive power due to the constraint of the activation functions and their architectures. We generalize spectral graph convolution and deep GCN in block Krylov subspace forms and devise two architectures, both with the potential to be scaled deeper but each making use of the multi-scale information in different ways. We further show that the equivalence of these two architectures can be established under certain conditions. On several node classification tasks, with or without the help of validation, the two new architectures achieve better performance compared to many state-of-the-art methods.

研究动机与目标

• 为解决现有图卷积网络（GCNs）在深层架构中表达能力有限且可扩展性差的问题。
• 分析由于激活函数约束和深层堆叠导致的GCN根本性局限。
• 开发新架构，更有效地利用多尺度信息，同时支持更深、更丰富的表征学习。
• 证明通过将图卷积重新表述为块Krylov子空间形式，可使深层GCN具备可扩展性和有效性。
• 在标准节点分类基准数据集上验证所提模型，无论是否使用验证集，均表现出优越性能。

提出的方法

• 将谱图卷积重新表述为块Krylov矩阵与可学习参数矩阵的乘积，支持更深、更具表现力的架构。
• 提出两种架构：线性Snowball GCN采用线性化Krylov构造，截断Krylov GCN通过截断提升效率与稳定性。
• 采用无谱方法，避免显式特征分解，在保持计算效率的同时支持更深堆叠。
• 利用块Krylov子空间框架，统一标准GCN与深层GCN，实现跨多尺度的更丰富消息传递。
• 采用自适应超参数搜索，结合RMSprop/Adam优化器、Dropout和早停策略，确保在多样化数据场景下的稳定训练。
• 使用t-SNE可视化分析特征质量，尤其在低数据设置下的表现。

实验结果

研究问题

• RQ1 为何标准GCN尽管理论上具备深层表征潜力，却在深层架构中难以有效扩展？
• RQ2 如何系统性地利用图中的多尺度信息，以超越浅层GCN堆叠的表征学习能力？
• RQ3 能否将图卷积重新表达为块Krylov子空间框架，以实现更深层、更具表现力且可扩展的GCN架构？
• RQ4 深层GCN中过平滑现象的理论与经验极限是什么？如何通过架构设计加以缓解？
• RQ5 基于块Krylov子空间的架构能否在极少超参数调优下实现节点分类任务的最先进性能？

主要发现

• 在仅使用5%训练数据的Cora数据集上，截断Krylov GCN达到83.4%的准确率，显著优于GCN（79.3%）及其他SOTA方法。
• 线性Snowball GCN在Cora数据集上使用5%训练数据时达到82.2%准确率，展现出极低计算成本下的强大性能。
• 在PubMed数据集上，仅使用0.3%训练数据时，截断Krylov GCN达到80.0%准确率，超越此前SOTA方法（GCN-DVAT的77.6%）。
• 在完整验证集设置下，截断Krylov GCN在Cora数据集上达到83.5%准确率，优于所有基线模型，包括GAT（83.0%）和AdaLNet（80.4%）。
• t-SNE可视化结果表明，所提模型在低数据环境下能提取更具判别性的特征，类间分离更优。
• 理论分析证明，在标准ReLU和Tanh激活函数下，深层GCN存在秩坍塌现象（秩 ≤ k，其中k为连通分量数），从而为架构创新提供了理论依据。