[论文解读] GrADE: A graph based data-driven solver for time-dependent nonlinear partial differential equations

Y V Ravi Kumar, Souvik Chakraborty|arXiv (Cornell University)|Aug 24, 2021

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出GrADE，一种基于图的、数据驱动的求解器，用于求解时间依赖的非线性偏微分方程（PDEs）。该方法结合图神经网络（GNNs）进行空间建模、神经ODEs进行时间演化，并引入注意力机制以增强特征加权。该框架在减少训练时间的同时，实现了1D和2D伯吉斯方程的高精度、可扩展求解，通过深度细化策略提升了泛化能力，相较于传统有限元法（FEM）基准，可在更大的时间步长下实现更优性能，且所需数据极少。

ABSTRACT

The physical world is governed by the laws of physics, often represented in form of nonlinear partial differential equations (PDEs). Unfortunately, solution of PDEs is non-trivial and often involves significant computational time. With recent developments in the field of artificial intelligence and machine learning, the solution of PDEs using neural network has emerged as a domain with huge potential. However, most of the developments in this field are based on either fully connected neural networks (FNN) or convolutional neural networks (CNN). While FNN is computationally inefficient as the number of network parameters can be potentially huge, CNN necessitates regular grid and simpler domain. In this work, we propose a novel framework referred to as the Graph Attention Differential Equation (GrADE) for solving time dependent nonlinear PDEs. The proposed approach couples FNN, graph neural network, and recently developed Neural ODE framework. The primary idea is to use graph neural network for modeling the spatial domain, and Neural ODE for modeling the temporal domain. The attention mechanism identifies important inputs/features and assign more weightage to the same; this enhances the performance of the proposed framework. Neural ODE, on the other hand, results in constant memory cost and allows trading of numerical precision for speed. We also propose depth refinement as an effective technique for training the proposed architecture in lesser time with better accuracy. The effectiveness of the proposed framework is illustrated using 1D and 2D Burgers' equations. Results obtained illustrate the capability of the proposed framework in modeling PDE and its scalability to larger domains without the need for retraining.

研究动机与目标

• 解决传统数值求解器在不规则域上求解非线性PDE时存在的计算效率低下与局限性问题。
• 克服全连接网络与卷积神经网络在处理非结构化数据与不规则几何形状时的不足。
• 开发一种可微分、端到端的框架，通过图注意力机制建模空间动力学，通过神经ODEs建模时间动力学。
• 通过一种新颖的深度细化策略，提升训练效率与求解精度。
• 在伯吉斯方程等基准PDE上验证框架性能，仅使用极少训练数据与较大的时间步长。

提出的方法

• 该框架使用图神经网络（GAT）通过将域表示为图来建模空间依赖关系，其中节点对应空间点，边对应邻域关系。
• 注意力机制通过前馈网络实现，动态分配邻近节点的重要性，增强特征表示与模型表达能力。
• 时间演化通过神经ODE建模，将时间导数参数化为连续函数，实现恒定内存消耗与灵活的时间积分。
• 该架构采用两阶段图网络：第一层近似一阶空间导数，第二层近似二阶导数，其结果与中心差分法进行验证。
• 提出一种深度细化技术，在训练过程中逐步增加网络深度，提升收敛速度与精度。
• 模型通过物理信息损失函数进行训练，强制在稀疏时间点满足PDE约束，无需完整轨迹监督。

实验结果

研究问题

• RQ1 基于图的深度学习框架是否能有效建模不规则域上时间依赖PDE的空间动力学？
• RQ2 将图注意力与神经ODE结合，相较于标准PINNs或FNNs，能否显著提升求解精度与训练效率？
• RQ3 所提出的深度细化策略在多大程度上可减少训练时间，同时保持或提升求解精度？
• RQ4 该框架是否能在不重新训练的情况下，泛化至更大域与更长时间范围，仅使用两个初始快照？
• RQ5 所学习的图网络层在多大程度上能逼近真实空间导数，与中心差分等数值方法相比表现如何？

主要发现

• GrADE仅使用两个时间快照作为训练数据，即可在1D与2D伯吉斯方程上实现高精度求解，显著降低数据需求。
• 模型在不重新训练的情况下，能良好泛化至更大域与更长时间范围，展现出强大的可扩展性。
• 图网络层能准确逼近一阶与二阶空间导数，其结果与中心差分计算结果高度一致。
• 在GAT层中，使用前馈网络实现注意力权重，相比基于Taylor网络的替代方案，精度略高。
• 深度细化可减少训练时间并提升收敛性，使训练速度更快、精度更高，优于固定深度训练。
• 神经ODE组件实现恒定内存消耗，并支持在数值精度与计算速度之间进行权衡，显著提升计算效率。