[论文解读] Learning continuous-time PDEs from sparse data with graph neural networks

Valerii Iakovlev, Markus Heinonen+1 more|arXiv (Cornell University)|Jun 16, 2020

Model Reduction and Neural Networks被引用 14

一句话总结

本文提出了一种连续时间图神经网络（GNN）框架，能够从未知的偏微分方程（PDE）中学习，数据为稀疏且非规则采样的时空数据。通过将微分方法（method of lines）与消息传递GNN结合，并采用连续时间伴随方法进行训练，该模型在非结构化网格和任意时间步长下实现了灵活且高精度的PDE发现，相较于离散时间基线方法，在热传导方程、对流-扩散方程和Burgers方程等复杂物理系统上表现更优。

ABSTRACT

The behavior of many dynamical systems follow complex, yet still unknown partial differential equations (PDEs). While several machine learning methods have been proposed to learn PDEs directly from data, previous methods are limited to discrete-time approximations or make the limiting assumption of the observations arriving at regular grids. We propose a general continuous-time differential model for dynamical systems whose governing equations are parameterized by message passing graph neural networks. The model admits arbitrary space and time discretizations, which removes constraints on the locations of observation points and time intervals between the observations. The model is trained with continuous-time adjoint method enabling efficient neural PDE inference. We demonstrate the model's ability to work with unstructured grids, arbitrary time steps, and noisy observations. We compare our method with existing approaches on several well-known physical systems that involve first and higher-order PDEs with state-of-the-art predictive performance.

研究动机与目标

• 解决现有PDE学习方法依赖规则网格和离散时间近似所带来的局限性。
• 实现在空间和时间上稀疏且非规则采样观测下的精确PDE发现。
• 开发一种支持任意时间积分和空间离散化的连续时间动力学模型。
• 将图神经网络与微分方法结合，以建模空间导数，同时保持物理结构。
• 在无需假设固定观测间隔或网格结构的前提下，实现对噪声数据、稀疏数据和非均匀数据的鲁棒性能。

提出的方法

• 使用图表示空间域，其中节点对应观测位置，边编码相对空间位置。
• 在每个时间步，应用消息传递GNN从节点特征中估计空间导数（例如，∇u, ∇²u）。
• 使用连续时间ODE求解器建模系统的时间演化，其中PDE右端项F由GNN参数化。
• 通过连续时间伴随方法进行模型训练，实现高效的反向传播，支持端到端优化。
• 使用微分方法将空间域离散化为图，同时保持动力学的连续时间特性。
• 将相对节点位置作为边特征引入，以增强空间归纳偏置并提升模型泛化能力。

实验结果

研究问题

• RQ1 图神经网络框架能否从未知的、在空间和时间上均稀疏且非规则采样的数据中学习PDE？
• RQ2 在GNN边特征中引入相对空间位置，对具有方向性动力学的PDE模型性能有何影响？
• RQ3 当数据时间稀疏或非均匀时，连续时间公式相较于离散时间模型在多大程度上表现更优？
• RQ4 与简单的扩散系统相比，该模型在非线性项较多的PDE（如Burgers方程）上的泛化能力如何？
• RQ5 在存在噪声观测和数据密度降低的情况下，该模型是否仍能保持高精度，而无需依赖密集或规则网格？

主要发现

• 所提出的模型在热传导方程、对流-扩散方程和Burgers方程上均实现了最先进预测性能，即使在稀疏且非规则观测下亦然。
• 在边特征中引入相对空间位置显著提升了模型精度，尤其在对流-扩散方程和Burgers方程中，方向性输运至关重要。
• 当节点数量从100%减少到50%时，该模型与GNODE（缺乏空间位置编码）之间的性能差距几乎翻倍，凸显了空间归纳偏置的重要性。
• 在纯扩散的热传导方程上，即使未显式编码空间信息，模型仍能保持高精度，但若省略此类信息，性能会下降。
• 通过伴随方法实现的连续时间训练支持高效优化和自适应时间积分，从而在稀疏数据上提升了泛化能力。
• 该模型在复杂非线性PDE（如Burgers方程）上泛化良好，足以准确捕捉非线性波传播和耗散效应。