[论文解读] Improved Surrogate Modeling of Fluid Dynamics with Physics-Informed Neural Networks

Jian Cheng Wong, Chinchun Ooi+2 more|arXiv (Cornell University)|May 5, 2021

Model Reduction and Neural Networks参考文献 39被引用 14

一句话总结

本文提出物理信息神经网络（PINNs）以改进流体动力学的代理建模，通过将控制方程作为正则化项，提升模型的泛化能力、鲁棒性及收敛速度。在数据噪声大或物理信息不完整的情况下，模型实现最高3倍的收敛速度提升，并将测试误差降低一个数量级；同时，新颖的迁移优化方案可实现对新场景的快速适应。

ABSTRACT

Physics-Informed Neural Networks (PINNs) have recently shown great promise as a way of incorporating physics-based domain knowledge, including fundamental governing equations, into neural network models for many complex engineering systems. They have been particularly effective in the area of inverse problems, where boundary conditions may be ill-defined, and data-absent scenarios, where typical supervised learning approaches will fail. Here, we further explore the use of this modeling methodology to surrogate modeling of a fluid dynamical system, and demonstrate additional undiscussed and interesting advantages of such a modeling methodology over conventional data-driven approaches: 1) improving the model's predictive performance even with incomplete description of the underlying physics; 2) improving the robustness of the model to noise in the dataset; 3) reduced effort to convergence during optimization for a new, previously unseen scenario by transfer optimization of a pre-existing model. Hence, we noticed the inclusion of a physics-based regularization term can substantially improve the equivalent data-driven surrogate model in many substantive ways, including an order of magnitude improvement in test error when the dataset is very noisy, and a 2-3x improvement when only partial physics is included. In addition, we propose a novel transfer optimization scheme for use in such surrogate modeling scenarios and demonstrate an approximately 3x improvement in speed to convergence and an order of magnitude improvement in predictive performance over conventional Xavier initialization for training of new scenarios.

研究动机与目标

• 通过物理信息神经网络（PINNs）改进在数据有限或噪声较大的情况下的流体动力学代理建模。
• 研究在部分或不完整物理定律下引入模型时，相较于纯数据驱动方法，其性能提升的程度。
• 通过迁移优化方法减少新、未见过的流体动力学场景的训练时间，并提升泛化能力。
• 评估PINNs在训练数据含噪声时的鲁棒性，以及在边界条件定义不明确时保持精度的能力。

提出的方法

• 作者通过最小化结合数据保真度与纳维-斯托克斯方程残差的损失函数来训练物理信息神经网络（PINN）。
• 使用自适应学习率的随机梯度下降法训练PINN架构，同时结合观测数据与物理约束。
• 提出一种新颖的迁移优化方案，通过在相关流体动力学场景上预训练的模型初始化网络权重，以加速收敛。
• 利用自动微分计算神经网络输出的空间与时间导数，实现对偏微分方程的弱约束。
• 采用基于残差的损失项，即使在数据稀疏或噪声较大的情况下，也能惩罚对控制流体动力学方程的偏离。
• 通过微调预训练模型在新初始条件或边界条件上的表现，支持迁移学习，仅需极少的额外训练。

实验结果

研究问题

• RQ1 在数据不完整或含噪声的流体动力学代理建模中，引入基于物理的正则化如何提升预测性能？
• RQ2 与标准数据驱动模型相比，PINN框架在训练数据含噪声时的鲁棒性提升程度如何？
• RQ3 在建模新、此前未见过的流体动力学场景时，迁移优化是否能显著缩短训练时间并提升收敛速度？
• RQ4 当仅在PINN损失函数中包含部分物理定律时，性能提升有多大？
• RQ5 与标准Xavier初始化相比，所提出的迁移优化方案在收敛速度和预测精度方面表现如何？

主要发现

• 在极噪声数据集上训练时，PINN模型的测试误差降低了一个数量级，展现出对数据污染的卓越鲁棒性。
• 即使仅在损失函数中包含部分物理定律，模型的预测精度仍比纯数据驱动基线模型提升2至3倍。
• 所提出的迁移优化方案使收敛训练时间相比标准Xavier初始化减少了约3倍。
• 当边界条件定义不明确时，PINN框架仍能保持高精度，优于传统监督学习在反问题设置下的表现。
• 引入基于物理的正则化显著减少了对大量标注数据的需求，增强了在多样化流体动力学场景中的泛化能力。
• 通过微调实现快速适应新场景，仅需在相关问题上预训练后进行极少的重新训练。