[论文解读] MAgNet: Mesh Agnostic Neural PDE Solver

Oussama Boussif, Dan Assouline+2 more|arXiv (Cornell University)|Oct 11, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

MAgNet 提出了一种与网格无关的神经 PDE 求解器，通过结合基于坐标的神经网络与图神经网络（GNNs），能够从空间位置查询中预测 PDE 的连续时空解。该方法实现了高达训练分辨率四倍的零样本超分辨率，并在非均匀网格上保持了物理一致性，在低数据量和非均匀设置下优于基线模型。

ABSTRACT

The computational complexity of classical numerical methods for solving Partial Differential Equations (PDE) scales significantly as the resolution increases. As an important example, climate predictions require fine spatio-temporal resolutions to resolve all turbulent scales in the fluid simulations. This makes the task of accurately resolving these scales computationally out of reach even with modern supercomputers. As a result, current numerical modelers solve PDEs on grids that are too coarse (3km to 200km on each side), which hinders the accuracy and usefulness of the predictions. In this paper, we leverage the recent advances in Implicit Neural Representations (INR) to design a novel architecture that predicts the spatially continuous solution of a PDE given a spatial position query. By augmenting coordinate-based architectures with Graph Neural Networks (GNN), we enable zero-shot generalization to new non-uniform meshes and long-term predictions up to 250 frames ahead that are physically consistent. Our Mesh Agnostic Neural PDE Solver (MAgNet) is able to make accurate predictions across a variety of PDE simulation datasets and compares favorably with existing baselines. Moreover, MAgNet generalizes well to different meshes and resolutions up to four times those trained on.

研究动机与目标

• 解决经典数值 PDE 求解器的计算瓶颈，尤其是在气候模拟等高分辨率仿真中的问题。
• 实现在任意空间查询（包括非均匀和不规则网格）上的准确、连续空间 PDE 解预测。
• 在无需微调的情况下实现对更高分辨率和长期预测的零样本泛化。
• 克服固定网格和基于网格的深度学习模型在处理不规则空间数据和超分辨率方面的局限性。
• 将物理感知学习与神经架构相结合，以在多样化网格拓扑上泛化的同时保持物理一致性。

提出的方法

• 将基于坐标的隐式神经表示与图神经网络（GNNs）结合，以在任意网格上建模 PDE 解。
• 使用基于 GNN 的插值模块，聚合邻近网格节点的特征，实现在不规则网格上的空间泛化。
• 通过自动微分结合 PDE 残差最小化与边界条件强制，使用物理信息损失进行模型训练。
• 通过在任意空间查询点预测解，实现零样本超分辨率，即使在高达训练分辨率四倍的分辨率下也适用。
• 采用一阶显式时间推进格式进行长期预测，未来可扩展至如 Runge-Kutta 等高阶求解器。
• 通过学习的插值与 GNN 增强的特征传播，将标准 CNN 架构适配至非均匀网格。

实验结果

研究问题

• RQ1 神经 PDE 求解器是否能在无需微调的情况下泛化到未见过的、更高分辨率的网格，特别是在不规则或非均匀配置下？
• RQ2 将 GNN 与基于坐标的网络结合，相较于标准 CNN 或 MPNN，在非均匀网格上的性能提升程度如何？
• RQ3 在低数据量和高分辨率超分辨率设置下，学习的插值器在多大程度上优于经典插值方法（如三次、线性插值）？
• RQ4 所提出的架构在多样化 PDE 仿真数据集上，是否能在长达 250 帧的长期预测中保持物理一致性？
• RQ5 为何尽管在 1D 和低数据环境下表现优异，MAgNet 在更高分辨率的 2D 测试集上性能反而下降？

主要发现

• MAgNet 实现了高达训练分辨率四倍的零样本超分辨率，展示了对未见分辨率的强大泛化能力。
• 在紧凑的非均匀网格设置中，GNN 增强的变体（MAgNet[GNN]）优于 MPNN 和基线模型，尤其在训练数据有限时表现更优。
• 在 E1 数据集的规则网格上，MAgNet[CNN] 中的学习除了插值器相比 KNN、线性和三次插值误差更低，尽管增益有限。
• MAgNet 在长达 250 帧的长期预测中保持了物理一致性，表明其具有稳定且合理的动力学行为。
• 尽管在 1D 和低数据环境下表现优异，MAgNet 在更高分辨率的 2D 测试集上性能反而低于 MPNN，表明其在 2D 泛化方面存在局限。
• 该模型在不规则和稀疏网格配置中表现出显著优势，凸显其在基于传感器或非规则采样数据中的实际应用价值。