[论文解读] Deep Learning and Computational Physics (Lecture Notes)

Deep Ray, Orazio Pinti+1 more|arXiv (Cornell University)|Jan 3, 2023

Computational Physics and Python Applications被引用 6

一句话总结

本讲义提出了一套统一框架，将深度学习与计算物理相连接，展示了神经网络（特别是物理信息神经网络（PINNs）、DeepONets和生成模型）如何求解偏微分方程（PDEs）和反问题。该框架利用计算物理的原理来解释深度学习模型，并利用深度学习在数据极少的情况下求解复杂物理系统，实现了PDE求解和不确定性量化的高精度。

ABSTRACT

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

研究动机与目标

• 通过展示深度学习中的概念与计算物理中既有的技术相呼应，来弥合深度学习与计算物理之间的鸿沟。
• 使深度学习模型能够作为PDE和参数化算子的求解器使用，特别是在数据稀缺或反问题场景下。
• 引入物理信息神经网络（PINNs）和DeepONets作为求解PDE和算子学习的新工具，并提供理论与实证验证。
• 通过条件GAN和WGAN将深度学习扩展到概率建模，以实现在物理系统中进行不确定性量度和条件分布学习。
• 为工程和应用数学的研究生提供一种教学资源，通过计算物理的视角学习深度学习。

提出的方法

• 使用物理信息神经网络（PINNs）将PDE约束直接嵌入损失函数，实现在无标签数据情况下的端到端训练。
• 应用残差网络（ResNets）和神经ODE来建模长程依赖关系，并提升深层架构中的训练稳定性。
• 提出DeepONets作为学习从输入函数到输出函数的算子的方法，实现对不同输入函数的泛化能力。
• 采用傅里叶神经算子（FNOs）通过谱卷积学习算子，实现PDE求解的高效性与泛化能力。
• 利用条件Wasserstein GAN（cWGANs）学习给定输入下物理输出的条件分布，实现不确定性量度和反问题求解。
• 应用正则化和梯度惩罚技术以稳定GAN训练，并确保收敛到目标分布。

实验结果

研究问题

• RQ1 如何通过将物理定律嵌入损失函数，使深度神经网络在无标签数据的情况下求解PDE？
• RQ2 PINNs在求解高维或刚性PDE时的理论与实际限制是什么？如何缓解这些问题？
• RQ3 与标准PINNs相比，DeepONets和傅里叶神经算子在算子学习中如何提升泛化能力？
• RQ4 条件GAN能否有效学习物理系统中复杂的条件分布，特别是在存在不确定性的反问题中？
• RQ5 优化技术如Adam和梯度惩罚在稳定物理应用中生成模型训练方面起到什么作用？

主要发现

• 通过在配点上最小化残差损失，PINNs即使在稀疏或噪声数据下也能以高精度求解PDE。
• DeepONets在学习从输入函数到输出函数的算子方面达到最先进性能，实现了对不同输入函数的泛化能力。
• 傅里叶神经算子在不同领域和边界条件下求解PDE时，展现出卓越的泛化能力和样本效率。
• 条件GAN（cWGANs）成功学习了物理系统中的条件分布，实现了高保真度的不确定性量度和反问题求解。
• cWGAN的理论收敛性已得到证明：在容量和数据无限的条件下，生成的条件分布弱收敛于真实条件分布。
• 正则化和梯度惩罚显著提升了基于GAN的模型在物理应用中的训练稳定性和泛化能力。