[论文解读] Solving Differential Equation with Constrained Multilayer Feedforward Network

Zeyu Liu, Yantao Yang+1 more|arXiv (Cornell University)|Apr 14, 2019

Model Reduction and Neural Networks参考文献 23被引用 7

一句话总结

本文提出了一种约束型多层前馈网络（CMFN）方法，通过将狄利克雷边界条件直接嵌入模型结构，以高精度求解常微分方程（ODE）和偏微分方程（PDE）。通过将解分解为边界项和权重调制的主体项，该方法确保了边界的精确满足，从而实现对残差误差的无约束优化，相较于基于惩罚项的神经网络求解器，显著提升了精度。

ABSTRACT

In this paper, we present a novel framework to solve differential equations based on multilayer feedforward network. Previous works indicate that solvers based on neural network have low accuracy due to that the boundary conditions are not satisfied accurately. The boundary condition is now inserted directly into the model as boundary term, and the model is a combination of a boundary term and a multilayer feedforward network with its weight function. As the boundary condition becomes predefined constraintion in the model itself, the neural network is trained as an unconstrained optimization problem. This leads to both ease of training and high accuracy. Due to universal convergency of multilayer feedforward networks, the new method is a general approach in solving different types of differential equations. Numerical examples solving ODEs and PDEs with Dirichlet boundary condition are presented and discussed.

研究动机与目标

• 解决由于边界条件强制不足而导致的神经网络求解器在微分方程求解中精度较低的问题。
• 开发一种通用方法，确保在ODE/PDE解中精确满足狄利克雷边界条件。
• 通过将约束问题转化为无约束优化任务，提升训练效率和解的精度。
• 在具有复杂边界条件的线性和非线性PDE上验证该方法的有效性。
• 提供一个统一框架，适用于双曲型、抛物型和椭圆型PDE，且无需重新配置。

提出的方法

• 将解分解为预先定义的边界项（满足狄利克雷条件）和由多层前馈网络（MFN）建模的主体项。
• 主体项通过在定义域上最小化微分方程的残差进行训练，边界条件已通过结构设计确保满足。
• 边界项显式构建以匹配给定的狄利克雷数据，从而确保边界约束的内在满足。
• 损失函数仅依赖于简化后问题的残差，不包含边界项，从而实现无约束优化。
• 使用自动微分计算残差评估所需的导数，确保与神经网络结构的兼容性。
• 采用标准优化技术训练MFN，将该过程视为以解析解为目标分布的学习任务。

实验结果

研究问题

• RQ1 能否设计一种神经网络框架，精确强制狄利克雷边界条件，而非通过惩罚项近似实现？
• RQ2 将边界条件直接嵌入模型结构，对训练稳定性和解的精度有何影响？
• RQ3 所提出的CMFN方法是否能在极浅网络深度和小规模训练数据集下实现高精度？
• RQ4 该方法是否能在不同类型PDE（包括椭圆型、抛物型和双曲型方程）上实现泛化？
• RQ5 该框架能否类似地扩展以处理诺伊曼或罗宾边界条件，并保持同等鲁棒性？

主要发现

• 在求解泊松方程时，CMFN方法的平均误差为2.6×10⁻⁵，显著低于PINN惩罚法的1.6×10⁻³误差。
• 在对流-扩散方程求解中，CMFN方法的平均误差为8.57×10⁻⁴，表明其在非线性问题上也具有高精度。
• CMFN方法中边界条件被精确满足，而PINN方法在角落等位置表现出明显的违反现象。
• 与传统迭代方法不同，该方法在大域和长时间跨度上仍保持高精度，未出现截断误差累积。
• 尽管存在随机初始化和非零最终损失，整体解的行为仍保持可控，原因在于目标函数的连续性以及损失最小化过程中的误差单调下降。
• 该框架仅使用四层、每层20个神经元的网络和少于1000个训练点，成功求解了线性和非线性PDE，包括热传导方程和对流-扩散方程。