[论文解读] A Physics Informed Neural Network for Time-Dependent Nonlinear and Higher Order Partial Differential Equations

Revanth Mattey, Susanta Ghosh|arXiv (Cornell University)|Jun 4, 2021

Model Reduction and Neural Networks参考文献 31被引用 11

一句话总结

该论文提出了一种后向兼容的物理信息神经网络（bc-PINN），通过在连续时间段内对单个神经网络进行再训练，同时保留先前时间段的解，从而提高时间依赖的非线性及高阶偏微分方程（PDE）的求解精度。该方法在更少的配点数量下，显著优于标准PINN，尤其在处理如Allen-Cahn和Cahn-Hilliard等复杂方程时表现更优，并通过相空间重构与对数残差损失进一步提升了性能。

ABSTRACT

A physics informed neural network (PINN) incorporates the physics of a system by satisfying its boundary value problem through a neural network's loss function. The PINN approach has shown great success in approximating the map between the solution of a partial differential equation (PDE) and its spatio-temporal input. However, for strongly non-linear and higher order partial differential equations PINN's accuracy reduces significantly. To resolve this problem, we propose a novel PINN scheme that solves the PDE sequentially over successive time segments using a single neural network. The key idea is to re-train the same neural network for solving the PDE over successive time segments while satisfying the already obtained solution for all previous time segments. Thus it is named as backward compatible PINN (bc-PINN). To illustrate the advantages of bc-PINN, we have used the Cahn Hilliard and Allen Cahn equations, which are widely used to describe phase separation and reaction diffusion systems. Our results show significant improvement in accuracy over the PINN method while using a smaller number of collocation points. Additionally, we have shown that using the phase space technique for a higher order PDE could further improve the accuracy and efficiency of the bc-PINN scheme.

研究动机与目标

• 解决标准物理信息神经网络（PINNs）在求解强非线性及高阶时间依赖PDE时精度下降的问题。
• 开发一种可扩展的单网络方法，在无需从头开始训练的前提下，保持时间分段间的解连续性。
• 提升复杂PDE（如Allen-Cahn和Cahn-Hilliard方程）的求解精度与效率。
• 研究相空间重构与对数残差损失对bc-PINN性能的影响。
• 通过最优超参数选择（时间分段大小与配点数量），在计算成本与精度之间实现平衡。

提出的方法

• bc-PINN方法在时间分段上顺序求解PDE，使用单个神经网络，在每个时间分段重新训练，同时保留先前分段的解。
• 通过在再训练过程中将先前时间分段的解作为损失函数中的约束，实现后向兼容性。
• 利用自动微分计算PDE所需的时空导数。
• 应用相空间技术将高阶PDE（如Cahn-Hilliard方程）重构为一阶方程组，提升数值稳定性和计算效率。
• 引入对数残差损失，以降低大残差值的影响，从而增强收敛性与精度。
• 优化过程采用ADAM后接LBFGS，各时间分段的学习率与停止准则均进行调优。

实验结果

研究问题

• RQ1 能否通过在连续时间分段上有效再训练单个神经网络，以保持非线性及高阶PDE的求解精度？
• RQ2 bc-PINN中的后向兼容性相较于标准PINN，在求解如Allen-Cahn和Cahn-Hilliard等刚性PDE时，如何提升精度？
• RQ3 相空间重构在bc-PINN中在多大程度上降低了计算成本并提升了求解精度？
• RQ4 在bc-PINN中使用对数残差损失是否能带来比标准MSE损失更好的收敛性与更低的误差？
• RQ5 在bc-PINN中，何种最优超参数配置（分段大小、配点数量、迭代次数）可在精度与计算成本之间实现最佳平衡？

主要发现

• 对于Allen-Cahn方程，bc-PINN在t=0.25时将相对误差降低至0.03，而标准PINN的误差为0.9919，精度提升达97%。
• 采用对数残差损失的bc-PINN相对误差为0.03，优于标准bc-PINN的0.0701，表明其对大残差值具有更强的鲁棒性。
• 对Cahn-Hilliard方程采用相空间重构显著减少了导数计算时间，并提升了求解精度。
• Cahn-Hilliard方程的最优超参数配置为每段10个时间步、5000个配点、每段10,000次ADAM迭代，实现了精度与计算成本的平衡。
• bc-PINN方法在时间分段间保持了解及其导数的连续性，确保了物理一致性。
• 尽管采用时间分段策略，bc-PINN仅使用一个神经网络，避免了多网络或多阶段架构的复杂性。