[论文解读] Enforcing exact boundary and initial conditions in the deep mixed residual method

Liyao Lyu, Keke Wu+2 more|arXiv (Cornell University)|Aug 4, 2020

Model Reduction and Neural Networks参考文献 12被引用 10

一句话总结

本文提出了一种系统性方法，通过深度混合残差法（MIM）在深度神经网络（DNN）中精确强制满足偏微分方程（PDE）的边界和初始条件。通过将解及其导数视为独立变量，MIM 在无需罚项的情况下，能够精确满足狄利克雷、诺伊曼、罗宾、周期性和初始条件，从而在椭圆型、抛物型和双曲型PDE中实现更高的精度和更优的训练稳定性。

ABSTRACT

In theory, boundary and initial conditions are important for the wellposedness of partial differential equations (PDEs). Numerically, these conditions can be enforced exactly in classical numerical methods, such as finite difference method and finite element method. Recent years have witnessed growing interests in solving PDEs by deep neural networks (DNNs), especially in the high-dimensional case. However, in the generic situation, a careful literature review shows that boundary conditions cannot be enforced exactly for DNNs, which inevitably leads to a modeling error. In this work, based on the recently developed deep mixed residual method (MIM), we demonstrate how to make DNNs satisfy boundary and initial conditions automatically in a systematic manner. As a consequence, the loss function in MIM is free of the penalty term and does not have any modeling error. Using numerous examples, including Dirichlet, Neumann, mixed, Robin, and periodic boundary conditions for elliptic equations, and initial conditions for parabolic and hyperbolic equations, we show that enforcing exact boundary and initial conditions not only provides a better approximate solution but also facilitates the training process.

研究动机与目标

• 为解决基于深度学习的PDE求解器中边界和初始条件无法精确强制的问题，该问题引入了建模误差并阻碍了训练。
• 开发一种系统性、通用的框架，确保在高维PDE中精确满足多种边界和初始条件。
• 通过构建天然满足条件的DNN，消除损失函数中的罚项，从而去除调参依赖并提升解的精度。
• 在包括具有复杂边界条件的椭圆型、抛物型和双曲型方程在内的广泛PDE类型中，展示所提方法的优越性。
• 证明精确强制可同时提升近似质量与基于深度学习的PDE求解器的训练收敛性。

提出的方法

• 深度混合残差法（MIM）将PDE重述为一阶系统，将解及其导数视为独立变量。
• 通过设计DNN，使其输出及其导数在区域边界和初始时刻直接满足所需条件，从而精确强制边界和初始条件。
• 对于双曲型和抛物型方程的初始条件，该方法通过在网络架构中显式包含解及其时间导数，确保其精确满足。
• MIM中的损失函数仅基于PDE及其一阶系统的残差最小化，不包含任何用于边界或初始条件的罚项。
• 该方法利用MIM可直接访问解及其导数的特性，使混合、罗宾和周期性条件的精确强制成为可能，而其他方法因缺乏导数访问能力而失败。
• 网络架构采用乘积形式构建：$ \hat{u}_{\theta} = t \prod_{i=1}^{d}(x_i - x_i^2) N_\theta(x) $，以确保边界和初始值为零。

实验结果

研究问题

• RQ1 能否系统性地构建深度神经网络，使其适用于一大类PDE的精确边界和初始条件强制？
• RQ2 在损失函数中消除罚项是否能提升基于深度学习的PDE求解器的解精度和训练稳定性？
• RQ3 在何种网络架构条件下，可实现DNN中混合边界条件（狄利克雷与诺伊曼）的精确强制？
• RQ4 对时间依赖型PDE（如波动方程）而言，精确初始条件强制如何影响解的质量和训练动力学？
• RQ5 所提方法是否能在各种PDE类型和维度下，优于基于罚项的方法？

主要发现

• MIM2通过精确强制解及其时间导数，在三维波动方程中达到相对 $ L^2 $ 误差 2.23e-03（$ n=40 $），优于DGM和MIM1。
• 在二维波动方程中使用ReLU激活函数时，MIM2在 $ n=3 $ 时将相对 $ L^2 $ 误差降低至 2.90e-03，而DGM为 7.28e-02。
• 在三维设置中，$ n=40 $ 时，MIM2使用ReLU的相对 $ L^2 $ 误差为 4.41e-03，而DGM为 7.34e-02，实现16倍的性能提升。
• 图11和图12中的训练过程表明，MIM2在高维和高复杂度场景下收敛速度更快、更稳定，优于DGM和MIM1。
• MIM中无罚项的设计带来了更好的泛化能力，避免了标准物理信息神经网络中调参罚参数这一主要缺陷。
• 该方法成功实现了混合、罗宾和周期性边界条件的精确强制，而以往基于DNN的方法因缺乏导数访问能力而无法实现。