[论文解读] Diffusion Improves Graph Learning

Johannes Gasteiger, Stefan Weißenberger+1 more|arXiv (Cornell University)|Oct 28, 2019

Advanced Graph Neural Networks被引用 175

一句话总结

Graph diffusion convolution (GDC) 引入了稀疏化的一般图扩散，以创建更丰富、局部化的学习邻域，在各种 GNN 和图模型上带来稳定的改进。它连接了时空（空间）和谱方法，且可即插即用，开销极小。

ABSTRACT

Graph convolution is the core of most Graph Neural Networks (GNNs) and usually approximated by message passing between direct (one-hop) neighbors. In this work, we remove the restriction of using only the direct neighbors by introducing a powerful, yet spatially localized graph convolution: Graph diffusion convolution (GDC). GDC leverages generalized graph diffusion, examples of which are the heat kernel and personalized PageRank. It alleviates the problem of noisy and often arbitrarily defined edges in real graphs. We show that GDC is closely related to spectral-based models and thus combines the strengths of both spatial (message passing) and spectral methods. We demonstrate that replacing message passing with graph diffusion convolution consistently leads to significant performance improvements across a wide range of models on both supervised and unsupervised tasks and a variety of datasets. Furthermore, GDC is not limited to GNNs but can trivially be combined with any graph-based model or algorithm (e.g. spectral clustering) without requiring any changes to the latter or affecting its computational complexity. Our implementation is available online.

研究动机与目标

• 在扩展聚合超越 1 距离邻域的同时，协调空间（消息传递）与谱图方法的优势。
• 提出并形式化 Graph Diffusion Convolution (GDC) 作为基于稀疏扩散的图变换。
• 证明 GDC 在多样数据集的有监督与无监督任务中都能持续提升性能。
• 分析 GDC 的谱性质及其与多项式滤波和传统扩散过程的关系。
• 展示 GDC 可即插即用并与任何基于图的模型或算法兼容，无需改变计算复杂度。

提出的方法

• 将广义图扩散定义为 S = sum_{k=0}^{∞} θ_k T^k，带有确保收敛的约束。
• 使用转移矩阵 T（例如随机游走、带自环的对称形式）来建模扩散。
• 对得到的扩散矩阵进行稀疏化以获得稀疏图 Ŝ（top-k 或 ε 阈值），并在 Ŝ 上计算相应的转移矩阵。
• 在稀疏扩散图 Ŝ（或其对称版本）上应用标准基于图的模型以获得新的嵌入或预测。
• 将 GDC 与谱滤波相关联，通过 ξ_j 系数（Eq. 4）展示扩散基的等价性与多项式滤波，并展示像 PPR 与热核（Eq. 5）等特殊情况。
• 证明扩散步骤保持局部性、实现线性时间近似，并且与非 GNN 模型（如谱聚类）兼容。

实验结果

研究问题

• RQ1 Graph diffusion convolution (GDC) 是否在广泛的模型和数据集上持续提升性能？
• RQ2 对扩散矩阵进行稀疏化如何影响谱属性和学习结果？
• RQ3 哪些扩散系数 θ_k 和转移矩阵 T 的选择能够带来鲁棒、与数据集无关的增益？
• RQ4 GDC 能否在不改变复杂度的前提下与非 GNN 的基于图的方法有效集成？
• RQ5 基于扩散的平滑和增大邻域范围如何影响标签效率和泛化？

主要发现

• GDC 在多种模型（GCN、GAT、JK、GIN、ARMA）和数据集（Cora、Citeseer、PubMed、Coauthor CS、Amazon Computers、Amazon Photo）上持续提升准确性。
• 扩散矩阵的稀疏化不仅降低计算量，且常常提高预测准确性（top-k 和 ε 阈值方法）。
• PPR 和基于热核的 θ_k 系数在各数据集与模型上展现出强健的性能，在简单超参数的狭窄稳定区间内。
• GDC 扩展了有效感受野，使远距节点也能影响学习，并在较低标签率下提升性能。
• GDC 可以修正那些在某些数据集上会退化的模型（如 GAT），并且在有监督与无监督设置中都有性能提升，包括聚类。