[论文解读] Composing Partial Differential Equations with Physics-Aware Neural Networks

Matthias Karlbauer, Timothy Praditia+4 more|arXiv (Cornell University)|Jan 1, 2021

Model Reduction and Neural Networks参考文献 31被引用 5

一句话总结

该论文提出FINN，一种物理感知神经网络，通过模块化、有限体积法启发的神经组件建模对流-扩散过程，从而组合偏微分方程（PDE）。FINN仅使用最先进的模型约1/10的参数量，便在准确度和分布外泛化能力上实现显著提升——通常达到多个数量级的改进，同时显式学习本构关系，并能对新的初始条件和边界条件作出响应。

ABSTRACT

We introduce a compositional physics-aware FInite volume Neural Network (FINN) for learning spatiotemporal advection-diffusion processes. FINN implements a new way of combining the learning abilities of artificial neural networks with physical and structural knowledge from numerical simulation by modeling the constituents of partial differential equations (PDEs) in a compositional manner. Results on both one- and two-dimensional PDEs (Burgers', diffusion-sorption, diffusion-reaction, Allen--Cahn) demonstrate FINN's superior modeling accuracy and excellent out-of-distribution generalization ability beyond initial and boundary conditions. With only one tenth of the number of parameters on average, FINN outperforms pure machine learning and other state-of-the-art physics-aware models in all cases -- often even by multiple orders of magnitude. Moreover, FINN outperforms a calibrated physical model when approximating sparse real-world data in a diffusion-sorption scenario, confirming its generalization abilities and showing explanatory potential by revealing the unknown retardation factor of the observed process.

研究动机与目标

• 开发一种显式整合物理定律和数值PDE求解器结构知识的神经网络架构。
• 实现对不同初始条件和边界条件的泛化，克服现有物理信息模型的局限性。
• 从稀疏的真实世界数据中学习未知物理参数（例如，阻滞因子），同时保持物理一致性。
• 在基准和真实世界的PDE上，相比纯机器学习模型和最先进的物理感知模型，在准确度和数据效率方面实现超越。

提出的方法

• FINN采用组合式架构，使用分布式的模块化神经网络，每个模块代表对流-扩散PDE中的一个独立分量（如扩散、对流和反应项）。
• 每个模块通过有限体积离散化原理进行训练，以确保空间和时间上的一致性。
• 网络采用自适应时间步长法，结合龙格-库塔方法，以在PDE特性随时间演变时保持数值稳定性。
• 物理约束被直接嵌入网络结构中，确保预测结果在物理上合理，而无需依赖基于损失的正则化。
• 模型在时空数据上端到端训练，损失函数同时强制满足观测数据和PDE结构的一致性。
• 通过模块化设计实现参数效率，避免了纯机器学习模型中常见的大型密集网络结构。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，使其显式学习并组合PDE项，同时在不同初始和边界条件下实现泛化？
• RQ2 将有限体积离散化原理整合到神经网络中，是否相比标准PINN或机器学习模型能提升泛化能力和物理合理性？
• RQ3 FINN能否从稀疏的真实世界数据中准确恢复未知物理参数（如阻滞因子），即使校准的物理模型已失效？
• RQ4 在准确度、参数效率和分布外泛化方面，FINN相较于最先进的物理感知模型和纯机器学习模型表现如何？

主要发现

• 在所有基准PDE（Burgers方程、扩散-吸附、扩散-反应、Allen–Cahn方程）上，FINN在rMSE指标上均以多个数量级的优势超越所有基线模型（包括PINN、PhyDNet和纯机器学习模型）。
• 平均而言，FINN仅使用状态最先进模型约十分之一的参数量，便实现了更优的准确度。
• 在扩散-吸附的真实场景中，FINN成功逼近稀疏数据并揭示了未知的阻滞因子，表现优于校准的物理模型。
• 即使在粗分辨率（如49个节点）下训练，FINN仍保持高准确度；当分辨率提升至999个节点时，PINN的性能仅略有改善，且未缩小与FINN的差距。
• 采用原始架构的PhyDNet并未显著优于简化版本，表明参数减少并未损害其学习能力。
• FINN在GPU上的运行时间高于部分基线模型，但此现象并非由时间步长自适应引起；时间步长自适应被证明计算高效且对稳定性至关重要。