[论文解读] Deep neural network for solving differential equations motivated by Legendre-Galerkin approximation

Bryce Chudomelka, Youngjoon Hong+2 more|arXiv (Cornell University)|Oct 24, 2020

Model Reduction and Neural Networks参考文献 35被引用 5

一句话总结

本文提出了一种新型深度神经网络架构——勒让德-伽辽金深度神经网络（LGNet），通过预测勒让德多项式基函数的系数来求解线性与非线性偏微分方程，实现了高精度。通过在高保真谱元法解上进行训练，并采用弱形式残差损失函数，LGNet在对流-扩散方程、亥姆霍兹方程和伯吉斯方程上实现了均相对 ℓ²-范数误差 𝒪(10⁻⁵) 的表现，即使在非线性情况下使用数据增强，也展现出稳健性能。

ABSTRACT

Nonlinear differential equations are challenging to solve numerically and are important to understanding the dynamics of many physical systems. Deep neural networks have been applied to help alleviate the computational cost that is associated with solving these systems. We explore the performance and accuracy of various neural architectures on both linear and nonlinear differential equations by creating accurate training sets with the spectral element method. Next, we implement a novel Legendre-Galerkin Deep Neural Network (LGNet) algorithm to predict solutions to differential equations. By constructing a set of a linear combination of the Legendre basis, we predict the corresponding coefficients, $α_i$ which successfully approximate the solution as a sum of smooth basis functions $u \simeq \sum_{i=0}^{N} α_i φ_i$. As a computational example, linear and nonlinear models with Dirichlet or Neumann boundary conditions are considered.

研究动机与目标

• 开发一种利用勒让德多项式谱逼近方法的深度神经网络，以高精度求解微分方程。
• 利用谱元法（SEM）生成的高精度训练数据，提升泛化能力并降低数值误差。
• 设计基于偏微分方程弱形式的损失函数，以增强解的精度与稳定性。
• 通过基函数扩充与时间离散化，将该方法扩展至时间依赖与奇异摄动型偏微分方程。
• 证明数据增强可使深度神经网络在非线性方程上的性能与线性方程相当。

提出的方法

• LGNet 架构通过预测勒让德多项式展开式 u ≈ Σαᵢφᵢ 中的系数 αᵢ，重建为光滑的谱逼近解。
• 利用勒让德-伽辽金谱元法（LGSEM）生成高保真度训练数据，确保解的精确性。
• 采用从偏微分方程弱形式推导出的残差损失函数，在训练过程中强制满足物理一致性。
• 网络采用深度卷积神经网络（CNN）将源项 f 与边界条件映射至谱系数 αᵢ。
• 对非线性源项应用数据增强，以提升泛化能力，实现与线性情况相当的性能。
• 通过将时间离散化系统重述为带更新源项的稳态问题，该框架可扩展至时间依赖型 PDE。

实验结果

研究问题

• RQ1 在高保真谱元法解上训练的深度神经网络，能否准确预测线性与非线性 PDE 的解？
• RQ2 与标准损失函数相比，使用弱形式残差损失函数在多大程度上提升了解的精度？
• RQ3 数据增强是否能使深度神经网络在非线性 PDE 上实现与线性 PDE 相当的精度？
• RQ4 LGNet 架构在多大程度上可推广至时间依赖型与奇异摄动型 PDE？
• RQ5 网络架构是否可扩展以包含增强基函数，用于处理刚性或边界层主导的问题？

主要发现

• 在使用 L-BFGS 优化器时，LGNet 在对流-扩散方程、亥姆霍兹方程与伯吉斯方程上实现了均相对 ℓ²-范数误差 𝒪(10⁻⁵)。
• 数据增强使非线性方程的性能可与线性方程相媲美，消除了对独立网络架构的需求。
• 采用弱形式残差损失函数显著提升了解的精度，通过变分方式强制满足 PDE。
• 由于勒让德基函数的全局特性，网络在不同边界条件与源项下均表现出良好的泛化能力。
• 通过将每个时间步重述为带更新源项的稳态问题，该架构可扩展至时间依赖型 PDE。
• 该方法支持基函数扩充，例如为奇异摄动问题添加校正函数，展现出良好的灵活性与可扩展性。