[论文解读] A Fractional Graph Laplacian Approach to Oversmoothing

Sohir Maskey, Raffaele Paolino+2 more|arXiv (Cornell University)|May 22, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出了一种分数阶图拉普拉斯神经ODE框架，通过使用对称归一化的有向拉普拉斯矩阵将狄利克雷能量推广至有向图，从而缓解有向图和无向图中的过度平滑问题。该方法通过降低远距离跳跃的概率，实现了长距离信息传播，并在合成图和真实世界图的广泛实验中，展示了在不同同质性水平下的鲁棒性提升。

ABSTRACT

Graph neural networks (GNNs) have shown state-of-the-art performances in various applications. However, GNNs often struggle to capture long-range dependencies in graphs due to oversmoothing. In this paper, we generalize the concept of oversmoothing from undirected to directed graphs. To this aim, we extend the notion of Dirichlet energy by considering a directed symmetrically normalized Laplacian. As vanilla graph convolutional networks are prone to oversmooth, we adopt a neural graph ODE framework. Specifically, we propose fractional graph Laplacian neural ODEs, which describe non-local dynamics. We prove that our approach allows propagating information between distant nodes while maintaining a low probability of long-distance jumps. Moreover, we show that our method is more flexible with respect to the convergence of the graph's Dirichlet energy, thereby mitigating oversmoothing. We conduct extensive experiments on synthetic and real-world graphs, both directed and undirected, demonstrating our method's versatility across diverse graph homophily levels. Our code is available at https://github.com/RPaolino/fLode .

研究动机与目标

• 为解决图神经网络（GNNs）在捕捉长距离依赖关系方面因过度平滑导致的局限性，特别是在有向图中的表现。
• 通过使用对称归一化的有向拉普拉斯矩阵，将狄利克雷能量和过度平滑的概念从无向图推广至有向图。
• 开发一种灵活的非局部动态框架，避免过度平滑，同时在远距离节点间保持有效的信息传播。
• 在包括合成图和真实世界图在内的多种图类型及不同同质性水平下，验证该方法的有效性。

提出的方法

• 本文引入了一种有向对称归一化拉普拉斯矩阵，以将狄利克雷能量推广至有向图，从而支持对平滑性和过度平滑性的理论分析。
• 构建了一种神经图ODE框架，其中节点动态由有向拉普拉斯矩阵的分数阶幂所控制，从而实现非局部的长距离交互。
• 采用分数阶图拉普拉斯神经ODE来建模连续传播过程，避免标准GCN中固有的过度平滑问题。
• 理论分析证明，该方法在确保狄利克雷能量收敛的同时，保持了低远距离跳跃概率，从而有效缓解了过度平滑问题。
• 该框架在处理狄利克雷能量收敛方面，相较于标准GCN展现出更高的灵活性，尤其在异质性和深层图设置中表现更优。

实验结果

研究问题

• RQ1 如何将过度平滑的概念从无向图推广至有向图？
• RQ2 分数阶图拉普拉斯框架能否有效缓解有向图中的过度平滑问题，同时保持长距离依赖关系？
• RQ3 与标准GCN相比，所提出的基于神经ODE的方法在狄利克雷能量收敛性和特征平滑性方面表现如何？
• RQ4 该方法对有向图和无向图中不同同质性水平下的节点分类性能有何影响？

主要发现

• 所提出的分数阶图拉普拉斯神经ODE框架通过保持低远距离跳跃概率，在有向图和无向图中均成功缓解了过度平滑问题。
• 该方法通过利用有向拉普拉斯矩阵的分数阶幂实现非局部动态，从而实现了有效的长距离信息传播。
• 理论分析证实，该方法在不导致节点特征坍塌的情况下确保了狄利克雷能量的收敛，而标准GCN由于固定点收敛机制，往往导致过度平滑。
• 在合成图和真实世界图上的实证结果表明，该方法在不同同质性水平下均表现出一致的性能提升，包括在标准GNN失效的异质性设置中。