[论文解读] Learning the Dynamics of Physical Systems from Sparse Observations with Finite Element Networks

Marten Lienen, Stephan Günnemann|arXiv (Cornell University)|Mar 16, 2022

Hydrological Forecasting Using AI被引用 11

一句话总结

本文提出了有限元网络（FEN），一种图神经网络框架，通过从未知偏微分方程（PDE）应用的有限元法（FEM）推导模型结构，从稀疏观测中学习时空动力学。通过整合关于PDE形式的先验知识（如对流方程中的对流），该方法实现了动力学的可解释性解耦，其中传输变体（TFEN）在海表温度和气体流动预测任务中实现了对更高分辨率网格的最先进泛化性能。

ABSTRACT

We propose a new method for spatio-temporal forecasting on arbitrarily distributed points. Assuming that the observed system follows an unknown partial differential equation, we derive a continuous-time model for the dynamics of the data via the finite element method. The resulting graph neural network estimates the instantaneous effects of the unknown dynamics on each cell in a meshing of the spatial domain. Our model can incorporate prior knowledge via assumptions on the form of the unknown PDE, which induce a structural bias towards learning specific processes. Through this mechanism, we derive a transport variant of our model from the convection equation and show that it improves the transfer performance to higher-resolution meshes on sea surface temperature and gas flow forecasting against baseline models representing a selection of spatio-temporal forecasting methods. A qualitative analysis shows that our model disentangles the data dynamics into their constituent parts, which makes it uniquely interpretable.

研究动机与目标

• 解决在仅有稀疏、非规则分布观测数据时，对物理系统中时空动力学进行预测的挑战。
• 开发一种可微分的图基模型，将源自有限元法（FEM）的结构归纳偏置嵌入其中，以提升泛化能力和可解释性。
• 通过在模型架构中编码关于底层PDE的先验知识（如对流）实现向更高分辨率网格的迁移学习。
• 提供一种方法，通过基于PDE的结构设计，将复杂动力学解耦为可解释的组成部分（如对流和源/汇行为）。
• 在真实世界的物理预测任务中，与多种基线模型（循环、时序卷积、连续时间模型）相比，展示具有竞争力的性能。

提出的方法

• 该模型使用三角剖分将空间域离散化为一个网格，每个节点代表域中的一个点，并通过图结构与邻居相连。
• 将动力学表述为由未知PDE控制的连续时间系统，并在FEM中应用Galerkin方法，推导出PDE的弱形式，以实现数值逼近。
• 通过计算未知动力学对与该节点相关联的单元体积的影响，估计每个节点的瞬时变化，使用基函数和单元内积分。
• 图网络中的消息传递机制计算邻近单元对每个节点动力学的贡献，有效近似PDE的弱形式。
• 模型结构直接从假设的PDE形式（如对流-扩散方程）推导而来，从而将物理归纳偏置嵌入架构中。
• 对于传输问题，推导出一种专用变体——传输-FEN（TFEN），其源自对流方程，显式地将流场建模为可解释、可可视化组件。

实验结果

研究问题

• RQ1 能否系统地从有限元法推导出图神经网络，以从稀疏观测中建模时空动力学？
• RQ2 如何将关于底层PDE（如对流）的先验知识编码到神经网络架构中，以提升泛化能力和可解释性？
• RQ3 与标准时空基线相比，基于PDE的模型结构是否能带来更好的性能和向更高分辨率网格的可转移性？
• RQ4 该模型能否将不同的物理过程（如对流和源/汇行为）解耦为可解释的组成部分？
• RQ5 来自FEM的结构偏置在低数据场景下对物理预测任务的泛化能力提升有多大？

主要发现

• 有限元网络（FEN）在海表温度和气体流动的短期预测任务中，性能与来自循环、时序卷积和连续时间模型类的强基线相当。
• 源自对流方程的传输变体TFEN，在海表温度和气体流动预测任务中，显著提升了向更高分辨率网格的泛化能力。
• TFEN将动力学解耦为对流分量和剩余部分（如源/汇），可视化激活结果对应于学习到的流场，可被解释和分析。
• 该模型的可解释性源于其直接从PDE形式推导而来，使得对如传输和扩散等物理过程的有意义内省成为可能。
• 尽管在GPU上存在非确定性的消息传递，但使用相同随机种子的训练运行表现出较低的性能波动，且在固定随机种子和配置追踪下结果可复现。
• 该框架实现了对更高分辨率网格的迁移学习，仅需极少微调，展示了在物理系统建模中强大的鲁棒性和可扩展性。