[论文解读] Bridging the Gap between Spatial and Spectral Domains: A Survey on Graph Neural Networks

Zhiqian Chen, Fanglan Chen+8 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Graph Neural Networks参考文献 70被引用 34

一句话总结

本文提出一个统一、以理论为驱动的框架，将基于空间的和基于谱的 GNNs 连接起来，将现有方法按领域分为三个子类别，并通过频率响应和聚合视角连接它们的机制。

ABSTRACT

Deep learning's success has been widely recognized in a variety of machine learning tasks, including image classification, audio recognition, and natural language processing. As an extension of deep learning beyond these domains, graph neural networks (GNNs) are designed to handle the non-Euclidean graph-structure which is intractable to previous deep learning techniques. Existing GNNs are presented using various techniques, making direct comparison and cross-reference more complex. Although existing studies categorize GNNs into spatial-based and spectral-based techniques, there hasn't been a thorough examination of their relationship. To close this gap, this study presents a single framework that systematically incorporates most GNNs. We organize existing GNNs into spatial and spectral domains, as well as expose the connections within each domain. A review of spectral graph theory and approximation theory builds a strong relationship across the spatial and spectral domains in further investigation.

研究动机与目标

• 提供一个统一框架，将空间域和谱域 GNNs 连接起来。
• 按节点聚合类型对基于空间的方法进行分类，按频率响应类型对基于谱的方法进行分类。
• 展示域内和域间关系，并在传播与滤波范式之间建立等价关系。
• 分析现代 GNN 的进步（例如过平滑、可扩展性）如何纳入所提出的框架。

提出的方法

• 定义一个将节点聚合 f(G)X 在空间域与在谱域应用的频率响应 g(Λ) 联系起来的图神经网络框架。
• 将空间方法分为线性传播、多项式传播和有理传播（A-1、A-2、A-3），将谱方法分为线性、多项式和有理近似（B-1、B-2、B-3）。
• 在 A-0 和 B-0 之间建立等价关系，并展示跨子类别的泛化/专用联系。
• 将代表性模型（GCN、GraphSAGE、GIN、ChebNet、DCNN、SGC、ARMA、PPNP、LP）转化为统一框架以说明对应关系。
• 讨论时间复杂度和表达能力，并将采样和过平滑技巧与该框架联系起来。

实验结果

研究问题

• RQ1 如何在单一理论框架下统一基于空间的和基于谱的 GNN？
• RQ2 常见的空间传播方案与谱滤波方法之间的确切对应关系和等价关系是什么？
• RQ3 现代 GNN 的可扩展性和过平滑技术如何在统一框架内适配？
• RQ4 在统一类别之间，表达能力与计算效率之间的权衡是什么？
• RQ5 反向传播与有理近似是否可以被理解为标准邻域聚合的推广？

主要发现

• 一个统一的分类体系映射空间方法（A-1/A-2/A-3）和谱方法（B-1/B-2/B-3），并明确显示聚合与频率响应之间的联系。
• 许多经典 GNN（例如 GCN、GraphSAGE、GIN）对应线性传播类别中的具体实例，并具有清晰的谱等价物。
• 多项式和有理传播在计算成本增加的代价下提供更高的表达能力，有理方法提供最强的近似能力。
• 该框架揭示过平滑和扩展性问题是所提出的 A-0/B-0 框架的特殊情况，可以通过近似理论进行分析。
• 采样方法（随机游走、子图采样）以及用于可扩展性的深度架构与 A-1/A-2 类别一致，而在所引讨论中采样不属于 A-3 或 B-3。
• 在表达能力和效率之间存在权衡：A-3/B-3 在对有挑战的信号上收敛更快但开销更高。