[论文解读] Dissecting the Diffusion Process in Linear Graph Convolutional Networks

Yifei Wang, Yisen Wang+2 more|arXiv (Cornell University)|Feb 22, 2021

Advanced Graph Neural Networks参考文献 33被引用 17

一句话总结

本文提出解耦图卷积（DGC），一种线性图卷积网络，将终端时间 $T$ 与传播步数 $K$ 解耦，从而实现对连续图扩散的细粒度近似。通过固定 $T$ 并增加 $K$，DGC 避免了过度平滑，并在所有线性 GCN 中实现了最先进性能，优于 SGC，且与非线性 GCN 相当，同时保持了计算效率。

ABSTRACT

Graph Convolutional Networks (GCNs) have attracted more and more attentions in recent years. A typical GCN layer consists of a linear feature propagation step and a nonlinear transformation step. Recent works show that a linear GCN can achieve comparable performance to the original non-linear GCN while being much more computationally efficient. In this paper, we dissect the feature propagation steps of linear GCNs from a perspective of continuous graph diffusion, and analyze why linear GCNs fail to benefit from more propagation steps. Following that, we propose Decoupled Graph Convolution (DGC) that decouples the terminal time and the feature propagation steps, making it more flexible and capable of exploiting a very large number of feature propagation steps. Experiments demonstrate that our proposed DGC improves linear GCNs by a large margin and makes them competitive with many modern variants of non-linear GCNs.

研究动机与目标

• 探究为何像 SGC 这类线性 GCN 尽管计算效率高，却无法从更多传播步数中获益。
• 识别 SGC 性能下降的根本原因在于固定且粗糙的有限差分步长 $\Delta t = 1$，导致较大的数值误差和过度平滑。
• 提出一种将终端时间 $T$ 与传播步数 $K$ 解耦的方法，实现对扩散过程的灵活控制。
• 证明经过合理设计的线性 GCN 可以匹配甚至超越现代非线性 GCN 变体的性能。
• 确立 DGC 作为未来 GCN 研究中强大、高效且理论基础扎实的基线。

提出的方法

• DGC 将终端时间 $T$ 与传播步数 $K$ 解耦，使 $T$ 可连续选择以实现最优平滑权衡。
• 该方法采用连续时间扩散框架，将图卷积建模为扩散 PDE 的解，其中 $T$ 表示总扩散时间。
• 通过增加 $K$ 的细粒度有限差分方案近似特征传播，相比 SGC 固定的 $\Delta t = 1$，可显著降低数值误差。
• DGC 采用欧拉法进行数值积分，该方法足够且高效，在实践中优于如 Runge-Kutta 等高阶方案。
• 评估了两种拉普拉斯矩阵形式：$\mathbf{L} = \mathbf{I} - \mathbf{S}$（含自环）与 $\mathbf{L}_{\rm sym} = \mathbf{I} - \mathbf{S}_{\rm sym}$（对称），前者表现更优。
• 发现最优终端时间 $T^*$ 为数据集特异性且内在的，Pubmed 上为 $T^* = 6.0$，Reddit 上为 $T^* = 2.7$。

实验结果

研究问题

• RQ1 为何像 SGC 这类线性 GCN 在增加传播步数时性能反而下降，尽管其结构简单且高效？
• RQ2 SGC 中有限差分近似使用的固定步长 $\Delta t = 1$ 如何影响扩散过程的精度与稳定性？
• RQ3 能否通过将终端时间 $T$ 与步数 $K$ 解耦，实现对连续图扩散的更好近似并缓解过度平滑？
• RQ4 真实世界图数据集的最优终端时间 $T^*$ 是多少？其在不同拉普拉斯形式下是否一致？
• RQ5 经过合理设计的线性 GCN 是否能在准确率与效率方面超越现代非线性 GCN 变体？

主要发现

• DGC 显著优于 SGC，在 Pubmed 上达到 80.3% 的测试准确率，在 Reddit 上达到 95.8%，优于 SGC，并与许多非线性 GCN 变体相当或更优。
• 最优终端时间 $T^*$ 分别为 Pubmed 的 6.0 和 Reddit 的 2.7，表明 $T^*$ 是数据集的内在属性。
• 使用增强拉普拉斯矩阵 $\mathbf{L} = \mathbf{I} - \mathbf{S}$（含自环）的准确率高于 $\mathbf{L}_{\rm sym}$，且收敛所需步数更少。
• 在固定 $T$ 的前提下增加 $K$ 可提升性能而不引发过度平滑，证明 DGC 避免了 SGC 的根本缺陷。
• DGC 在 $K=100$ 时，Pubmed 上总训练时间为 225.0 ms（SGC 为 65.3 ms），但准确率显著更高，且仍比非线性 GCN 快 100 倍以上。
• 欧拉法对 DGC 已足够，因为更高阶方法如 Runge-Kutta 在 $K$ 增大时收益递减，证实了所提方法的高效性。