[论文解读] Learning time-dependent PDE solver using Message Passing Graph Neural Networks

Pourya Pilva, Ahmad Zareei|arXiv (Cornell University)|Apr 15, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出了一种消息传递图神经网络（MPGNN）框架，用于学习高效、准确且可泛化的时变偏微分方程（PDE）求解器。通过使用与领域无关的特征编码PDE数据，并将非结构化网格表示为图结构，MPGNN学习了空间局部且置换等变的更新规则，从而在不同几何形状和网格分辨率下实现泛化，借助循环架构实现稳定的长期预测。

ABSTRACT

One of the main challenges in solving time-dependent partial differential equations is to develop computationally efficient solvers that are accurate and stable. Here, we introduce a graph neural network approach to finding efficient PDE solvers through learning using message-passing models. We first introduce domain invariant features for PDE-data inspired by classical PDE solvers for an efficient physical representation. Next, we use graphs to represent PDE-data on an unstructured mesh and show that message passing graph neural networks (MPGNN) can parameterize governing equations, and as a result, efficiently learn accurate solver schemes for linear/nonlinear PDEs. We further show that the solvers are independent of the initial trained geometry, i.e. the trained solver can find PDE solution on different complex domains. Lastly, we show that a recurrent graph neural network approach can find a temporal sequence of solutions to a PDE.

研究动机与目标

• 开发一种无需微调即可在不同物理领域和网格离散化之间泛化的神经PDE求解器。
• 克服现有深度学习求解器在固定领域和离散化下受限的局限性。
• 利用图神经网络学习经典PDE求解器的离散更新规则，同时保留物理对称性。
• 通过循环MPGNN架构实现PDE解的时间序列预测。
• 探索通过训练后的MPGNN学习可解释的、符号化的离散化核函数的潜力。

提出的方法

• 将非结构化网格上的PDE数据表示为图结构，其中节点对应空间位置，边对应邻域关系。
• 引入源自经典PDE求解器的与领域无关的特征，以提升物理一致性与泛化能力。
• 使用消息传递图神经网络，基于邻居信息学习每个节点的更新规则，模拟有限差分或有限体积格式。
• 基于相对位置（而非绝对坐标）构建边特征，以确保平移与旋转不变性。
• 采用循环MPGNN架构，通过时间上堆叠消息传递步骤来预测随时间演化的解。
• 使用损失函数在训练域上最小化预测解与真实PDE解之间的均方误差进行模型训练。

实验结果

研究问题

• RQ1 消息传递图神经网络能否学习到在不同几何形状上均准确且稳定的时变PDE求解器？
• RQ2 与使用绝对位置的模型相比，使用相对位置特征是否能提升对未见领域和分辨率的泛化能力？
• RQ3 循环MPGNN架构能否有效预测PDE解的长期时间序列？
• RQ4 与先前基于图神经网络的PDE求解器相比，该学习求解器在非结构化网格和不同网格分辨率下的表现如何？
• RQ5 所学习的更新规则是否可通过符号回归进行解释或近似，以揭示新的数值格式？

主要发现

• 在与训练数据相同几何形状和分辨率下测试时，所提出的MPGNN实现了1.49e-6的MSE，优于先前方法的域内性能表现。
• 在低分辨率下未见过的几何形状上，模型实现了9.87e-3的MSE，显著优于基线方法（1.47e1），展现出强大的泛化能力。
• 当在低分辨率数据上进行训练时，模型在另一领域的高分辨率网格上实现了5.34e-3的MSE，表明其对分辨率变化具有鲁棒性。
• 与使用绝对位置和tanh激活函数的模型相比，采用相对位置特征和ReLU激活函数显著提升了泛化性能。
• 循环MPGNN成功预测了多个时间步的PDE演化，证明其具备长期时间模拟能力。
• 该模型在多种网格类型和几何形状下表现稳定，证实了其对领域和离散化的不变性。