[论文解读] Beltrami Flow and Neural Diffusion on Graphs

Benjamin Paul Chamberlain, James Rowbottom+4 more|arXiv (Cornell University)|Oct 18, 2021

Advanced Graph Neural Networks参考文献 99被引用 15

一句话总结

本文提出Beltrami神经扩散（BLEND），一种新颖的图神经网络框架，通过离散化的Beltrami流——一种非欧几里得扩散PDE——统一了特征学习与拓扑演化。通过在黎曼流形上联合演化节点特征与位置编码，BLEND推广了现有GNN，并在多个基准测试中实现了最先进性能，克服了过度平滑与固定拓扑等局限。

ABSTRACT

We propose a novel class of graph neural networks based on the discretised Beltrami flow, a non-Euclidean diffusion PDE. In our model, node features are supplemented with positional encodings derived from the graph topology and jointly evolved by the Beltrami flow, producing simultaneously continuous feature learning and topology evolution. The resulting model generalises many popular graph neural networks and achieves state-of-the-art results on several benchmarks.

研究动机与目标

• 解决消息传递GNN的局限性，包括表达能力有限、过度平滑以及深层架构中的瓶颈问题。
• 通过将图重连与位置编码建立在微分几何与PDE基础上，提供一个原则化的框架。
• 在由Beltrami流控制的单一连续扩散过程中，统一特征学习与拓扑演化。
• 解决文献中关于何时以及如何在训练过程中修改图拓扑的共识缺失问题。
• 引入一种可微分、自适应且几何基础坚实的替代标准GNN层的方法，通过PDE的数值积分实现。

提出的方法

• 将节点特征与位置坐标形式化为嵌入在高维空间中的参数曲面，将图视为黎曼流形。
• 在空间与时间域上对Beltrami流PDE进行离散化，推导出图上的可学习、自适应扩散过程。
• 利用基于特征与位置差异的黎曼度量来定义边相关的扩散系数，实现保留边的平滑。
• 通过用PDE的自适应数值求解器替代标准GNN层，将Beltrami流集成到神经网络中。
• 引入从图内在几何导出的可学习位置编码，实现与特征的联合演化。
• 在扩散系数函数中使用squareplus激活而非softmax，以稳定梯度并防止高激活边主导扩散过程。

实验结果

研究问题

• RQ1 在黎曼流形上的连续扩散过程能否为GNN中的特征学习与拓扑演化提供统一框架？
• RQ2 如何将Beltrami流的保边特性适配到图中，以避免过度平滑并提升表达能力？
• RQ3 Beltrami流的离散化在多大程度上可作为GNN中消息传递与图重连的合理替代方案？
• RQ4 通过PDE驱动的扩散联合演化特征与位置编码，是否能提升在基准数据集上的泛化能力与性能？
• RQ5 激活函数的选择（如squareplus与softmax）对扩散机制的稳定性和性能有何影响？

主要发现

• BLEND在多个标准图基准数据集上实现了最先进性能，包括Cora、Citeseer、PubMed、CoauthorCS、Computers和Photo。
• BLEND的训练时间约为GAT在小图上的15–40倍，但推理时间慢22–63倍，表明前向传播计算成本更高。
• BLEND-kNN显著提高了边密度（例如Cora上平均度从4.1增至32），导致训练与推理时间更长，尤其在小图上更为明显。
• 在扩散系数函数中使用squareplus而非softmax，提升了训练稳定性与梯度流动，防止单一边主导扩散过程。
• 该模型通过将广泛的GNN架构统一于基于PDE的微分几何框架下，实现了对GNN的泛化。
• BLEND的计算成本高于GAT，其推理时间比（BLEND / GAT）在不同数据集上介于6.56至62.88之间，反映出自适应、几何感知扩散的代价。