[论文解读] GREAD: Graph Neural Reaction-Diffusion Networks

Jeongwhan Choi, Seo-Young Hong+2 more|arXiv (Cornell University)|Nov 25, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

GREAD 提出了一种基于反应-扩散方程的新型图神经网络架构，整合了七种不同的反应类型，包括一种新设计的模糊-锐化（BS）方程，以缓解图神经网络中的过度平滑问题。该方法在9个数据集上优于28个基线模型，实现了最先进（SOTA）的准确率，并在不同同质性水平下表现出强鲁棒性。

ABSTRACT

Graph neural networks (GNNs) are one of the most popular research topics for deep learning. GNN methods typically have been designed on top of the graph signal processing theory. In particular, diffusion equations have been widely used for designing the core processing layer of GNNs, and therefore they are inevitably vulnerable to the notorious oversmoothing problem. Recently, a couple of papers paid attention to reaction equations in conjunctions with diffusion equations. However, they all consider limited forms of reaction equations. To this end, we present a reaction-diffusion equation-based GNN method that considers all popular types of reaction equations in addition to one special reaction equation designed by us. To our knowledge, our paper is one of the most comprehensive studies on reaction-diffusion equation-based GNNs. In our experiments with 9 datasets and 28 baselines, our method, called GREAD, outperforms them in a majority of cases. Further synthetic data experiments show that it mitigates the oversmoothing problem and works well for various homophily rates.

研究动机与目标

• 为解决由纯扩散机制引起的图神经网络中持续存在的过度平滑问题。
• 开发一个全面的图神经网络框架，整合多样化的反应-扩散动力学，超越有限的反应形式。
• 设计一种统一架构，通过可学习的反应组件平衡平滑与锐化过程。
• 通过实证验证模型在同质性与异质性图分布下的鲁棒性。
• 在真实世界数据集上，与28种最先进图神经网络基线模型相比，展示卓越的性能。

提出的方法

• 提出一种具有七种不同反应类型的反应-扩散层：Fisher、Allen-Cahn、Zeldovich、模糊-锐化（BS）、Source、Filter Bank（FB）和Filter Bank*（FB*）。
• 采用基于神经常微分方程（NODEs）的连续时间公式，建模节点特征在各层之间的演化过程。
• 采用软邻接矩阵学习机制，增强反应-扩散层与图结构之间的协同作用。
• 引入可学习参数 β 以控制反应项的贡献，实现特征的自适应优化。
• 设计模糊-锐化（BS）方程，动态平衡平滑与锐化过程，降低过度平滑现象。
• 在弱Lipschitz连续性假设下，建立适定的初值问题公式，确保训练过程的稳定性。

实验结果

研究问题

• RQ1 能否设计一种统一的图神经网络框架，整合多种反应-扩散动力学，从而超越仅依赖扩散机制的现有图神经网络？
• RQ2 是否通过引入多样化的反应机制，包括一种新型的BS方程，能有效缓解深层图神经网络中的过度平滑问题？
• RQ3 所提出的GREAD模型在同质性比率各异的数据集上表现如何？
• RQ4 与标准扩散基图神经网络相比，反应-扩散机制是否对深度相关的退化问题更具鲁棒性？
• RQ5 在准确率与泛化能力方面，GREAD与近期最先进方法（如GRAND++和GPR-GNN）相比表现如何？

主要发现

• GREAD 在9个数据集上的平均排名达到最高（1.56），准确率达到76.64%，优于28个基线模型。
• GREAD-BS 变体在9个数据集中的5个上取得最佳性能，且在所有评估数据集中相较于GRAND的性能提升具有统计显著性（p < 0.05）。
• 在 Cora 数据集上，GREAD-BS 在64层时仍保持高准确率（88.43%），而GRAND++ 准确率略有下降，表明其对深度的鲁棒性更强。
• 合成实验结果表明，反应-扩散机制可减少Dirichlet能量的衰减，证实其有效缓解了过度平滑问题。
• 软邻接矩阵的使用提升了性能，表明其与反应-扩散层之间存在协同增效作用。
• GREAD-ST（采用可学习源项）在所有数据集上均优于GRAND++，平均准确率提升达3.5%–4.5%。