[论文解读] Ensemble learning for Physics Informed Neural Networks: a Gradient Boosting approach

Zhiwei Fang, Sifan Wang+1 more|arXiv (Cornell University)|Feb 25, 2023

Model Reduction and Neural Networks被引用 7

一句话总结

本文提出梯度提升物理信息神经网络（GB PINNs），一种新颖的集成学习方法，通过顺序训练多个神经网络以提高求解复杂PDE问题的解的精度。通过迭代地使用梯度提升原理校正残差，GB PINNs 实现了显著更低的误差——例如，在非线性反应-扩散问题上达到 0.58% 的相对 l² 误差，远低于标准 PINNs 和先前方法的误差。

ABSTRACT

While the popularity of physics-informed neural networks (PINNs) is steadily rising, to this date, PINNs have not been successful in simulating multi-scale and singular perturbation problems. In this work, we present a new training paradigm referred to as "gradient boosting" (GB), which significantly enhances the performance of physics informed neural networks (PINNs). Rather than learning the solution of a given PDE using a single neural network directly, our algorithm employs a sequence of neural networks to achieve a superior outcome. This approach allows us to solve problems presenting great challenges for traditional PINNs. Our numerical experiments demonstrate the effectiveness of our algorithm through various benchmarks, including comparisons with finite element methods and PINNs. Furthermore, this work also unlocks the door to employing ensemble learning techniques in PINNs, providing opportunities for further improvement in solving PDEs.

研究动机与目标

• 解决标准 PINNs 在求解多尺度和奇异摄动问题时持续存在的不稳定性和不准确性。
• 克服单网络 PINNs 在捕捉 PDE 解中高频和复杂特征方面的局限性。
• 提出一种可扩展、模块化的训练框架，通过集成学习提升 PINN 性能，且无需大量超参数调优。
• 实现与现有 PINN 技术（如傅里叶特征和自适应损失加权）的集成，以扩大适用范围。
• 提供一种灵活的基于梯度提升的范式，提升在难以求解的 PDE 上的泛化能力和收敛性。

提出的方法

• 依次训练一系列神经网络，其中每个新网络学习前序集成的残差误差。
• 使用梯度提升通过拟合损失相对于当前预测的负梯度，以最小化 PDE 残差损失。
• 将总损失表述为 PDE 残差、边界条件和初始条件损失的加权和，并采用自适应加权以平衡训练动态。
• 采用残差校正机制：最终预测为序列中所有独立神经网络输出的总和。
• 使用标准全连接网络，可选地引入傅里叶特征嵌入以增强表示能力。
• 对 PDE、边界和初始条件项采用固定批量大小的随机小批量优化，以确保训练稳定。

实验结果

研究问题

• RQ1 梯度提升能否被有效适配以提升物理信息神经网络的训练稳定性和精度？
• RQ2 在求解多尺度和奇异摄动问题时，序列式弱 PINN 估计器的集成是否优于单个大型 PINN？
• RQ3 GB PINNs 方法对超参数选择（如网络架构和学习率）的敏感性如何？
• RQ4 与标准 PINNs 和其他最先进方法相比，GB PINNs 在基准 PDE 上能将相对 l² 误差降低多少？
• RQ5 GB PINNs 在哪些类型的 PDE 上会失效，其方法的潜在局限性是什么？

主要发现

• 在具有内部边界的二维奇异摄动问题上，GB PINNs 实现了 3.37% 的相对 l² 误差，而标准 PINNs 的误差为 16%。
• 在非线性反应-扩散方程上，GB PINNs 实现了 0.58% 的相对 l² 误差，优于先前方法在类似条件下报告的 2.36% 误差。
• 尽管训练步数更少（3 步 vs. 20 步），GB PINNs 的误差相比 Krishnapriyan 等人提出的序列到序列方法仍降低了约四倍。
• GB PINNs 对网络架构和超参数选择表现出较低的敏感性，仅需极少调优即可实现一致性能。
• 该方法成功求解了传统 PINNs 无法准确捕捉的具有高频特征和多尺度行为的问题。
• 尽管具有诸多优势，GB PINNs 对于导数发散的守恒律问题（如无粘 B́urgers 方程）仍表现无效，原因在于对 PDE 损失的敏感性不足。