[论文解读] Graph Neural Ordinary Differential Equations

Michael Poli, Stefano Massaroli+4 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Graph Neural Networks参考文献 69被引用 61

一句话总结

GDEs 提供一种连续深度框架，通过基于图的 ODE 参数化节点特征动态，在静态和动态图任务上优于离散 GNNs。它们可以建模图序列，处理不规则时间戳，并在前向传播中嵌入数值 ODE 求解器。

ABSTRACT

We introduce the framework of continuous--depth graph neural networks (GNNs). Graph neural ordinary differential equations (GDEs) are formalized as the counterpart to GNNs where the input-output relationship is determined by a continuum of GNN layers, blending discrete topological structures and differential equations. The proposed framework is shown to be compatible with various static and autoregressive GNN models. Results prove general effectiveness of GDEs: in static settings they offer computational advantages by incorporating numerical methods in their forward pass; in dynamic settings, on the other hand, they are shown to improve performance by exploiting the geometry of the underlying dynamics.

研究动机与目标

• 通过将图神经 ODEs（GDEs）定义为 GNN 层的连续体，引入连续深度的图神经网络。
• 展示 GDEs 与静态和自回归 GNN 模型的兼容性。
• 在静态任务和动态设定中展示 GDEs 的计算与准确性优势。
• 在节点分类、轨迹外推和交通预测等任务上验证 GDEs。

提出的方法

• 将 GDEs 公式化为一个 Cauchy 问题，dot{H}(s)=F_G(H(s), Θ) 且 H(0)=X_e。
• 将 F_G 定义为一个图条件向量场，使得在图 G 上具有深度可变的动态图。
• 将其具体化为像 GCDE 这样的静态模型，并将其与 GCNs 的连续等价物相关联。
• 通过将连续-离散混合动力学应用于自回归图序列，将 GDEs 扩展到时空设置。
• 通过反向传播、伴随方法，或带有稳定性考虑的谱元离散化来训练。
• 使用固定步长和自适应 ODE 求解器进行评估（例如 RK 方法、Dormand-Prince）。

实验结果

研究问题

• RQ1 连续深度 GDEs 能否在标准节点分类基准上达到或超过传统 GNN 的性能？
• RQ2 GCDEs 是否利用数值 ODE 求解器以获得更好或可比的准确性并带来潜在的深度优势？
• RQ3 自回归 GDEs 是否能对具有不规则时间戳的图序列进行建模，并比离散模型更有效地捕捉底层动力学？
• RQ4 静态 GDEs 中不同求解器方案（固定步长与自适应）的利弊是什么？
• RQ5 在轨迹外推和交通预测等动态图任务中，与神经 ODE、以及常规 RNN/GRU 基线相比，GDEs 的表现如何？

主要发现

模型（NFE）	Cora	Citeseer	Pubmed
GCN （未显示 NFE）	81.4±0.5%	70.9±0.5%	79.0±0.3%
GCN ∗	82.8±0.3%	71.2±0.4%	79.5±0.4%
GCDE–rk2 (2)	83.0±0.6%	72.3±0.5%	79.9±0.3%
GCDE–rk4 (4)	83.8±0.5%	72.5±0.5%	79.5±0.4%
GCDE–dpr5 (158)	81.8±1.2%	68.3±1.2%	78.5±0.7%

• 使用高阶求解器（rk4）的 GCDE 变体在 Cora、Citeseer 和 Pubmed 上可超过标准 GCN 基线。
• 自适应步长 GCDE 提供更深的有效模型，但在大量函数评估（NFE）时可能出现过拟合。
• GCDE 对较长的积分时间具有鲁棒性，且可以在静态任务中减轻节点过平滑问题。
• 在多智能体轨迹外推中，GCDEs（包括 GCDE-II）优于 Neural ODE 和简单 GCDEs，利用关系结构。
• 在不规则采样下的交通预测中，GCDE-GRU 模型在不同欠采样场景下优于 GRUs 和 GCGRUs。