[论文解读] Bridging the Gap between Spatial and Spectral Domains: A Unified Framework for Graph Neural Networks

Zhiqian Chen, Fanglan Chen+8 more|arXiv (Cornell University)|Jul 21, 2021

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一套统一的理论框架，通过逼近理论和有理函数将空间图神经网络（GNN）与谱图神经网络（GNN）联系起来，证明了此前被视为彼此分离的多种GNN架构，可通过共同的数学基础系统性地关联，从而实现更深入的理论理解并提升模型的可解释性。

ABSTRACT

Deep learning's performance has been extensively recognized recently. Graph neural networks (GNNs) are designed to deal with graph-structural data that classical deep learning does not easily manage. Since most GNNs were created using distinct theories, direct comparisons are impossible. Prior research has primarily concentrated on categorizing existing models, with little attention paid to their intrinsic connections. The purpose of this study is to establish a unified framework that integrates GNNs based on spectral graph and approximation theory. The framework incorporates a strong integration between spatial- and spectral-based GNNs while tightly associating approaches that exist within each respective domain.

研究动机与目标

• 为解决当前空间与谱GNN之间缺乏统一理论框架的问题，二者目前被视为孤立的范式。
• 基于逼近理论与有理函数，建立统一的数学语言，以整合多种GNN架构。
• 阐明看似不同的GNN方法（包括消息传递、谱滤波与注意力机制）之间的内在联系。
• 将GNN的理论基础扩展至更具挑战性的图类型，如有向图、动态图、高阶图与多层网络。
• 为理解GNN行为提供系统性基础，降低其黑箱特性，从而在高风险应用场景中实现更可靠的部署。

提出的方法

• 通过图滤波的有理函数逼近形式化GNN，实现对空间与谱方法的统一表示。
• 利用偏微分方程（PDE），如扩散方程与波动方程，建模多项式（谱）滤波与有理函数（空间）滤波之间的联系。
• 提出一种基于有理函数的广义图卷积框架，可涵盖现有GNN如GCN、GAT与GraphSAGE。
• 通过利用共轭转置与非对称图拉普拉斯矩阵，将框架扩展至有向图。
• 应用谱分析建模动态图演化，利用特征值与特征向量捕捉时间与结构模式。
• 通过超图与单纯复形建模高阶交互作用，并利用超邻接矩阵建模多层网络。

实验结果

研究问题

• RQ1 如何通过统一的理论框架正式连接空间与谱GNN？
• RQ2 有理函数在统一不同GNN架构中扮演何种角色？为何其表达能力优于多项式逼近？
• RQ3 基于PDE的视角（如扩散方程与波动方程）能否统一理解两个领域中的图滤波？
• RQ4 该框架如何扩展以建模有向图、动态图与多层图，而不仅限于标准的无向静态图？
• RQ5 该统一框架在多大程度上可提升模型可解释性并减少GNN的黑箱特性？

主要发现

• 理论分析表明，有理函数对图滤波的逼近比多项式滤波更具表达力与稳定性，可解释为何许多现代GNN表现更优。
• 空间与谱GNN被证明是更广泛有理图滤波类别的特例，揭示了其潜在的数学统一性。
• 基于PDE的解释将扩散（多项式滤波）与波传播（有理滤波）联系起来，为GNN动态提供了物理解释。
• 该框架通过非对称邻接矩阵与共轭转置实现对有向图的建模，突破了对称矩阵假设的局限。
• 动态图的谱分析表明，特征结构的演化与结构变化相关，支持轨迹预测与异常检测。
• 可通过超图与超邻接矩阵系统性地建模高阶交互作用与多层网络，显著扩展框架在复杂系统中的适用性。