[论文解读] Simplifying Graph Convolutional Networks

Felix Wu, Tianyi Zhang+4 more|arXiv (Cornell University)|Feb 19, 2019

Advanced Graph Neural Networks参考文献 57被引用 1,182

一句话总结

本文介绍了简单图卷积（SGC），这是对 GCN 的线性化变体，它预计算固定的基于图的特征平滑并训练一个简单的逻辑回归，在大规模图上以更快的训练速度达到具有竞争力的准确性。

ABSTRACT

Graph Convolutional Networks (GCNs) and their variants have experienced significant attention and have become the de facto methods for learning graph representations. GCNs derive inspiration primarily from recent deep learning approaches, and as a result, may inherit unnecessary complexity and redundant computation. In this paper, we reduce this excess complexity through successively removing nonlinearities and collapsing weight matrices between consecutive layers. We theoretically analyze the resulting linear model and show that it corresponds to a fixed low-pass filter followed by a linear classifier. Notably, our experimental evaluation demonstrates that these simplifications do not negatively impact accuracy in many downstream applications. Moreover, the resulting model scales to larger datasets, is naturally interpretable, and yields up to two orders of magnitude speedup over FastGCN.

研究动机与目标

• 通过去除不必要的非线性以及逐层变换来推动 GCN 的简化。
• 推导并分析一个线性模型，该模型保留多层 GCN 的感受野。
• 证明固定的基于图的特征平滑后接逻辑回归可以达到或超过 GCN 的性能。
• 展示预先计算特征传播在大规模图上的显著计算效率。
• 在引用网络、社交网络和多样的下游任务上评估 SGC，以确立其广泛的适用性。

提出的方法

• 定义具有邻接矩阵 A、度矩阵 D 和特征矩阵 X 的图 G。

实验结果

研究问题

• RQ1 去除 GCN 层之间的非线性并折叠权重是否会产生具有竞争力的模型？
• RQ2 固定特征传播 H = S^K X 如何影响性能和可解释性？
• RQ3 SGC 是否能够扩展到大规模图并在各任务中保持精度？
• RQ4 从频谱角度可以给出哪些理论解释来解释 SGC 的有效性？

主要发现

• 与 GCN 及最先进的图网络在引用网络（Cora、Citeseer、Pubmed）和 Reddit 上的测试准确率具有竞争力。
• SGC 显著更快，先验计算 S^K X 使 Reddit 的训练速度提升最多两个数量级。
• SGC 在文本分类、用户地理定位、关系抽取和零-shot 图像分类等下游任务中保持强劲表现。
• 理论分析表明 SGC 对应于图谱上的一个固定低通滤波器，重正则化技巧缩小谱，从而产生平滑。
• SGC 通常使用更少的参数并避免过拟合，由于复杂度降低，有时优于基于 GCN 的模型。