[论文解读] Mitigating Propagation Failures in Physics-informed Neural Networks using Retain-Resample-Release (R3) Sampling

Arka Daw, Jie Bu+3 more|arXiv (Cornell University)|Jul 5, 2022

Model Reduction and Neural Networks被引用 34

一句话总结

本论文介绍了 R3 采样，通过保留高残差区域、从域中重新采样并释放已解决点来缓解物理信息神经网络在求解 PDE 时的传播失败，并对时间相关 PDE 给出因果扩展，从而提高收敛性和效率。

ABSTRACT

Despite the success of physics-informed neural networks (PINNs) in approximating partial differential equations (PDEs), PINNs can sometimes fail to converge to the correct solution in problems involving complicated PDEs. This is reflected in several recent studies on characterizing the "failure modes" of PINNs, although a thorough understanding of the connection between PINN failure modes and sampling strategies is missing. In this paper, we provide a novel perspective of failure modes of PINNs by hypothesizing that training PINNs relies on successful "propagation" of solution from initial and/or boundary condition points to interior points. We show that PINNs with poor sampling strategies can get stuck at trivial solutions if there are propagation failures, characterized by highly imbalanced PDE residual fields. To mitigate propagation failures, we propose a novel Retain-Resample-Release sampling (R3) algorithm that can incrementally accumulate collocation points in regions of high PDE residuals with little to no computational overhead. We provide an extension of R3 sampling to respect the principle of causality while solving time-dependent PDEs. We theoretically analyze the behavior of R3 sampling and empirically demonstrate its efficacy and efficiency in comparison with baselines on a variety of PDE problems.

研究动机与目标

• 提出一种从传播角度看待 PINN 失败的视角，即正确解必须从边界/初始条件向内部点传播。
• 开发一个自适应采样策略（R3），在高 PDE 残差区域集中 collocation 点，以缓解传播障碍。
• 为 R3 的保留、重新采样与释放属性及其时间相关 PDE 的因果扩展提供理论保障。
• 在多组 PDE 基准上对比基线，经验验证 R3 与因果 R3，展示在最小开销下实现更好收敛。

提出的方法

• 形式化传播假说并通过 PDE 残差场中的不平衡来诊断传播失败。
• 引入保留-重采样-释放（R3）采样：保留高残留点，从域中重新采样新点以维持背景覆盖，释放已解决点。
• 证明三种属性：保留（高残留点的积累）、重采样（背景采样非空）、释放（当点被足够最小化时下降）。
• 将 R3 扩展为因果 R3，通过引入时间门 g(t) 在 PDE 损失和采样中强制因果性。
• 可选地扩展为因果采样，将残差按 g(t) 加权，以尊重信息在时间上的传播。

实验结果

研究问题

• RQ1 PINN 的传播失败是否可以通过 PDE 残差场中高残留区域的不平衡来诊断？
• RQ2 R3 采样策略是否能够缓解传播失败，帮助 PINN 以更低的样本复杂度收敛到正确解？
• RQ3 因果扩展（因果 R3）是否通过在残差和采样中强制因果性来改进时间相关 PDE 的训练？

主要发现

• R3 与因果 R3 在基准 PDE 上始终实现最低的相对 L2 误差，相较基线更优。
• R3 与因果 R3 大幅降低了挑战性对流 PDE（如 beta=50）的误差，其他方法无法收敛。
• R3 在几乎无额外计算开销的情况下缓解传播失败，并且无需维护密集的 collocation 集合。
• 理论结果确认保留、重采样和释放属性，使高残留点得以累积并在区域改善时周期性释放。
• 因果 R3 进一步利用时间门逐步揭示时间域，使训练与物理因果性对齐。