[论文解读] How to Avoid Trivial Solutions in Physics-Informed Neural Networks

Raphael Leiteritz, Dirk Pflüger|arXiv (Cornell University)|Dec 10, 2021

Model Reduction and Neural Networks被引用 8

一句话总结

本文提出了一种新型惩罚项和规则网格采样策略，以防止物理信息神经网络（PINNs）在使用少量配点时收敛到平凡解（如恒定零解）。通过在物理损失中惩罚陡峭的梯度并采用结构化采样，该方法将所需配点数量减少了高达80%，同时在谐振子和Burgers方程等基准PDE上保持了高精度。

ABSTRACT

The advent of scientific machine learning (SciML) has opened up a new field with many promises and challenges in the field of simulation science by developing approaches at the interface of physics- and data-based modelling. To this end, physics-informed neural networks (PINNs) have been introduced in recent years, which cope for the scarcity in training data by incorporating physics knowledge of the problem at so-called collocation points. In this work, we investigate the prediction performance of PINNs with respect to the number of collocation points used to enforce the physics-based penalty terms. We show that PINNs can fail, learning a trivial solution that fulfills the physics-derived penalty term by definition. We have developed an alternative sampling approach and a new penalty term enabling us to remedy this core problem of PINNs in data-scarce settings with competitive results while reducing the amount of collocation points needed by up to 80 \% for benchmark problems.

研究动机与目标

• 解决PINNs在数据稀缺情况下因收敛到平凡解（如恒定零）而导致泛化失败的问题。
• 在不牺牲预测精度的前提下，减少PINNs训练所需的配点数量。
• 探究结构化采样（规则网格）是否在配点选择上优于随机采样（如拉丁超立方）。
• 开发一种新的正则化项，通过惩罚物理损失梯度的突变来稳定训练过程。
• 在标准PDE基准测试（包括谐振子和Burgers方程）上验证所提改进方法的有效性。

提出的方法

• 引入一种新惩罚项，对网络参数的物理损失梯度的L2范数进行惩罚，防止因信号不稳定性而出现的剧烈波动。
• 用等距的规则网格采样替代标准的随机配点采样（如拉丁超立方），以提升空间覆盖度和训练稳定性。
• 将结合了梯度惩罚与规则网格采样的方法应用于时间依赖型PDE的PINNs训练，包括一维谐振子和Burgers方程。
• 利用PyTorch的自动微分计算神经网络输出的高阶导数，以强制执行PDE约束。
• 通过在1000个等距测试点上计算预测值与解析解之间的均方误差（MSE）来评估性能。
• 每个配置进行30次独立训练以评估鲁棒性与成功率（定义为MSE < 0.01）。

实验结果

研究问题

• RQ1 对物理损失施加梯度惩罚是否能防止PINNs在训练过程中坍缩为平凡解？
• RQ2 与随机采样相比，配点的规则网格采样是否能提升训练稳定性并减少所需配点数量？
• RQ3 在保持准确PINN预测的前提下，配点数量最多可减少多少？
• RQ4 梯度惩罚与规则采样相结合是否比单独使用任一方法具有更好的泛化性能？
• RQ5 所提改进是否可推广至一维谐振子以外的更复杂PDE？

主要发现

• 与标准PINN训练相比，所提出的梯度惩罚将所需配点数量减少了约50%，同时保持了高精度预测。
• 在规则网格采样与梯度惩罚的联合使用下，PINNs仅用12个配点即可达到可接受性能——相比基线方法减少了高达80%。
• 在20个配点时，规则网格采样在30次运行中实现了100%的成功率（MSE < 0.01），而随机采样在多数情况下均告失败。
• 即使配点数量极少，梯度惩罚与规则网格采样的结合也成功防止了PINN坍缩为平凡的恒定零解。
• 该方法在谐振子和Burgers方程上均成功稳定了训练，证明其可推广至更复杂的PDE。
• 规则网格采样的成功率（ρ）在约20个配点时达到1.0，而相同数量下随机采样的成功率显著更低。