[论文解读] DPM: A deep learning PDE augmentation method (with application to large-eddy simulation)

Jonathan B. Freund, Jonathan F. MacArt+1 more|arXiv (Cornell University)|Nov 20, 2019

Model Reduction and Neural Networks参考文献 41被引用 5

一句话总结

该论文提出深度学习PDE模型（DPM），一种物理信息框架，通过将深度神经网络嵌入偏微分方程（PDE）中，从有限数据中学习未知或未表征的物理规律。通过使用伴随PDE和随机伴随方法（SAM）在PDE结构内优化神经网络，DPM显著提升了大涡模拟（LES）的精度——即使在粗网格条件下也优于传统模型，并能校正离散化误差。

ABSTRACT

Machine learning for scientific applications faces the challenge of limited data. We propose a framework that leverages a priori known physics to reduce overfitting when training on relatively small datasets. A deep neural network is embedded in a partial differential equation (PDE) that expresses the known physics and learns to describe the corresponding unknown or unrepresented physics from the data. Crafted as such, the neural network can also provide corrections for erroneously represented physics, such as discretization errors associated with the PDE's numerical solution. Once trained, the deep learning PDE model (DPM) can make out-of-sample predictions for new physical parameters, geometries, and boundary conditions. Our approach optimizes over the functional form of the PDE. Estimating the embedded neural network requires optimizing over the entire PDE, which itself is a function of the neural network. Adjoint partial differential equations are used to efficiently calculate the high-dimensional gradient of the objective function with respect to the neural network parameters. A stochastic adjoint method (SAM), similar in spirit to stochastic gradient descent, further accelerates training. The approach is demonstrated and evaluated for turbulence predictions using large-eddy simulation (LES), a filtered version of the Navier--Stokes equation containing unclosed sub-filter-scale terms. The DPM outperforms the widely-used constant-coefficient and dynamic Smagorinsky models, even for filter sizes so large that these established models become qualitatively incorrect. It also significantly outperforms a priori trained models, which do not account for the full PDE. A relaxation of the discrete enforcement of the divergence-free constraint is also considered, instead allowing the DPM to approximately enforce incompressibility physics.

研究动机与目标

• 为解决科学机器学习中高保真数据有限的问题，利用已知物理规律减少过拟合。
• 开发一种框架，通过将神经网络嵌入PDE中，学习未知或未表征的物理规律（如亚网格尺度湍流效应）。
• 校正大涡模拟（LES）中因粗网格导致的数值离散化误差，以提升精度。
• 通过PDE嵌入学习方法，实现在新物理参数、几何形状和边界条件下的泛化能力。
• 利用伴随PDE和随机伴随方法（SAM）加速训练并提升效率。

提出的方法

• 将深度神经网络 $\mathbf{h}_{\theta}$ 嵌入PDE中以建模未知或未表征的物理规律，同时已知物理规律由 $\mathbf{f}_{\nu}$ 表示，形成深度学习PDE模型（DPM）。
• 通过最小化损失函数 $L(\theta)$ 训练模型，将DPM解 $\mathbf{u}$ 与可信的高保真数据 $\mathbf{V}$ 进行比较，采用空间和时间上的 $L^1$ 范数。
• 利用伴随偏微分方程高效计算损失相对于神经网络参数 $\theta$ 的高维梯度。
• 采用随机伴随方法（SAM）通过时间点和参数点的随机采样近似梯度，以加速训练。
• 该公式允许通过直接从数据中学习压力量物理规律，近似实现不可压缩性，避免使用泊松求解器。
• 将LES中的离散化误差解释为未闭合项，并由DPM学习以校正这些数值不准确性。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，嵌入PDE框架中的深度神经网络能否提升大涡模拟的泛化能力和精度？
• RQ2 DPM在粗网格LES模拟中对数值离散化误差的校正能力有多强？
• RQ3 在极端滤波尺寸下，DPM与常系数和动态Smagorinsky模型等成熟亚网格尺度模型相比表现如何？
• RQ4 DPM能否直接从数据中学习压力量物理规律，从而避免使用离散散度自由约束和泊松求解？
• RQ5 与先验训练模型相比，PDE嵌入训练框架是否能实现对未见物理参数和边界条件的更好外推能力？

主要发现

• 即使在滤波尺寸使传统模型定性失效的情况下，DPM在预测衰减各向同性湍流方面仍优于广泛使用的常系数和动态Smagorinsky模型。
• 在相当精度下，DPM相比传统模型显著降低了整体计算成本，尤其得益于GPU加速的网络评估。
• DPM通过学习粗网格数值格式引起的未闭合项，成功校正了LES中的离散化误差。
• 该模型在新物理参数、几何形状和边界条件上表现出有效泛化能力，展现出强大的样本外预测性能。
• 放宽对离散散度自由条件的严格强制，并直接从数据中学习压力量物理规律，可在不损失精度的前提下提升计算效率。
• 基于伴随PDE的训练框架实现了对整个PDE的有效优化，且随机伴随方法（SAM）显著加速了收敛。