[论文解读] Improved Training of Physics-Informed Neural Networks with Model Ensembles

Katsiaryna Haitsiukevich, Alexander Ilin|arXiv (Cornell University)|Apr 11, 2022

Model Reduction and Neural Networks参考文献 36被引用 4

一句话总结

该论文提出了一种物理信息神经网络（PINN）集成方法，通过基于集成一致性动态扩展解域来稳定训练，避免依赖预定义的时间调度。该方法提升了泛化能力和收敛性，在对流、反应及反应-扩散PDE中均实现了具有竞争力的性能，训练稳定且可通过置信区间实现不确定性估计。

ABSTRACT

Learning the solution of partial differential equations (PDEs) with a neural network is an attractive alternative to traditional solvers due to its elegance, greater flexibility and the ease of incorporating observed data. However, training such physics-informed neural networks (PINNs) is notoriously difficult in practice since PINNs often converge to wrong solutions. In this paper, we address this problem by training an ensemble of PINNs. Our approach is motivated by the observation that individual PINN models find similar solutions in the vicinity of points with targets (e.g., observed data or initial conditions) while their solutions may substantially differ farther away from such points. Therefore, we propose to use the ensemble agreement as the criterion for gradual expansion of the solution interval, that is including new points for computing the loss derived from differential equations. Due to the flexibility of the domain expansion, our algorithm can easily incorporate measurements in arbitrary locations. In contrast to the existing PINN algorithms with time-adaptive strategies, the proposed algorithm does not need a pre-defined schedule of interval expansion and it treats time and space equally. We experimentally show that the proposed algorithm can stabilize PINN training and yield performance competitive to the recent variants of PINNs trained with time adaptation.

研究动机与目标

• 为解决PINN因损失函数失衡和初始化不佳而导致无法收敛到正确解的常见问题。
• 消除PINN训练中对预定义时间自适应调度的依赖。
• 利用集成置信度实现时间与空间上灵活、数据驱动的解域扩展。
• 通过集成置信区间提供不确定性估计。
• 提升在各类PDE系统（包括对流和反应-扩散方程）中的鲁棒性与泛化能力。

提出的方法

• 训练多个具有不同随机初始化的PINN集成，以捕捉多样的解行为。
• 以集成一致性（置信度）作为标准，逐步将新的配点纳入PDE损失中，实现解域的扩展。
• 基于靠近高集成一致性区域的位置，动态选择新点加入PDE损失，确保从已知数据或初始条件稳定传播。
• 在域扩展中对时间和空间同等对待，支持在任意位置整合测量数据。
• 采用基于阈值的机制，将距离已包含区域Δ_PDE以内的点纳入，平衡探索与稳定性。
• 在初始Adam预训练后应用LBFGS微调，以提升最终精度，利用集成收敛性优势。

实验结果

研究问题

• RQ1 集成一致性能否作为PINN训练中解域扩展的可靠依据？
• RQ2 基于置信度的动态域扩展是否优于固定时间调度的自适应PINN方法？
• RQ3 所提方法能否在包括对流和反应-扩散系统在内的多种PDE类型中稳定PINN训练？
• RQ4 该集成PINN方法对超参数（如Δ_PDE）的敏感性如何？
• RQ5 集成能否通过置信区间提供有意义的不确定性估计？

主要发现

• 所提集成方法在所有测试的PDE系统（包括对流、反应及反应-扩散方程）中均实现了稳定训练，性能一致。
• 与使用Adam和LBFGS优化器的基线PINN相比，该方法表现更优，尤其在基线方法无法收敛的系统中优势明显。
• 与bc-PINN和SA-PINN等时间自适应基线相比，该方法在无需预定义扩展调度的情况下，实现了相当或更优的精度。
• 该算法对超参数设置的敏感度较低，尤其在Δ_PDE选择得当时，显示出良好的鲁棒性。
• 集成提供了反映解不确定性的置信区间，靠近初始/边界条件的区域一致性更高，远离区域一致性较低。
• 在Adam预训练后进行LBFGS微调，当预训练阶段已找到良好解时，能显著提升最终精度。