[论文解读] Deep Learning Methods for Partial Differential Equations and Related Parameter Identification Problems

Derick Nganyu Tanyu, Jianfeng Ning+5 more|arXiv (Cornell University)|Dec 6, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

本文评估了用于求解偏微分方程（PDEs）及识别相关参数的深度学习方法，比较了包括FNO、MWT、PINO和DeepONet在内的多种架构。结果表明，MWT和FNO在各种噪声水平下均达到最低误差，其中MWT在参数识别任务中展现出更优的鲁棒性和泛化能力。

ABSTRACT

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than standard feed-forward neural networks, recurrent neural networks, or convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering. In this work, we review such methods as well as their extensions for parametric studies and for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

研究动机与目标

• 比较不同深度学习模型在不同噪声水平下求解PDE及识别未知参数的性能。
• 评估神经网络架构在PDE控制的逆问题求解中的鲁棒性与泛化能力。
• 评估噪声（0%、0.1%、1%、5%、10%）对模型准确率与稳定性的影。
• 识别在PDE约束参数识别任务中提供最准确与可靠解的深度学习架构。
• 为新兴的PDE感知神经网络在真实噪声环境下的表现提供实证基准。

提出的方法

• 采用一系列深度学习模型：3PCANN、PCALin、FNO、U-FNO、MWT、DeepONet、PINO和PI-DeepONet，用于求解PDE及参数识别。
• 使用标准化的基准设置，结合合成PDE问题与受控噪声注入（0%、0.1%、1%、5%、10%），以评估模型性能。
• 通过在多个噪声水平和重复试验中测量均方误差（MSE），评估泛化与鲁棒性。
• 应用MWT（多权重Transformer）和FNO（傅里叶神经算子）作为在函数空间上学习算子的最先进架构。
• 使用PINO（物理信息神经算子）和PI-DeepONet实现物理信息学习，将PDE约束直接嵌入模型中。
• 在正向与逆向PDE问题中对比模型表现，重点关注参数恢复的准确性。

实验结果

研究问题

• RQ1 在噪声水平从0%增至10%的过程中，哪种深度学习架构在求解PDE时误差最低？
• RQ2 在参数识别任务中，PINO和PI-DeepONet等物理信息模型与纯数据驱动模型相比表现如何？
• RQ3 MWT架构在PDE解的噪声鲁棒性方面是否优于其他神经算子？
• RQ4 FNO在训练与推理数据噪声增加时，其性能如何变化？
• RQ5 各模型在不同噪声环境下的相对稳定性与泛化能力如何？

主要发现

• MWT在所有噪声水平下均实现最低误差，0%噪声时MSE为0.0129，10%噪声时提升至0.0276。
• FNO表现强劲，0%噪声时MSE为0.0210，10%噪声时为0.0421，优于大多数模型。
• PCALin在各噪声水平下表现稳定，MSE值在0.0923至0.0929之间，表明高稳定性但误差高于MWT与FNO。
• PINO在0%噪声时误差较低（0.0167），10%噪声时提升至0.0349，表现出强鲁棒性。
• PI-DeepONet误差最高，0%噪声时为0.0586，10%噪声时增至0.0677，表明在噪声下泛化能力差。
• MWT与FNO始终优于其他模型，其中MWT整体表现最佳且对噪声最具韧性。