[论文解读] A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks

Chenxi Wu, Min Zhu+3 more|arXiv (Cornell University)|Jul 21, 2022

Model Reduction and Neural Networks被引用 43

一句话总结

本文系统比较了十种用于 PINN 的残差点采样方法，提出了两种自适应策略（RAD 和 RAR-D），并在前向与反向 PDE 问题上显示它们优于非自适应方法，基于超过 6000 次仿真。

ABSTRACT

Physics-informed neural networks (PINNs) have shown to be an effective tool for solving forward and inverse problems of partial differential equations (PDEs). PINNs embed the PDEs into the loss of the neural network, and this PDE loss is evaluated at a set of scattered residual points. The distribution of these points are highly important to the performance of PINNs. However, in the existing studies on PINNs, only a few simple residual point sampling methods have mainly been used. Here, we present a comprehensive study of two categories of sampling: non-adaptive uniform sampling and adaptive nonuniform sampling. We consider six uniform sampling, including (1) equispaced uniform grid, (2) uniformly random sampling, (3) Latin hypercube sampling, (4) Halton sequence, (5) Hammersley sequence, and (6) Sobol sequence. We also consider a resampling strategy for uniform sampling. To improve the sampling efficiency and the accuracy of PINNs, we propose two new residual-based adaptive sampling methods: residual-based adaptive distribution (RAD) and residual-based adaptive refinement with distribution (RAR-D), which dynamically improve the distribution of residual points based on the PDE residuals during training. Hence, we have considered a total of 10 different sampling methods, including six non-adaptive uniform sampling, uniform sampling with resampling, two proposed adaptive sampling, and an existing adaptive sampling. We extensively tested the performance of these sampling methods for four forward problems and two inverse problems in many setups. Our numerical results presented in this study are summarized from more than 6000 simulations of PINNs. We show that the proposed adaptive sampling methods of RAD and RAR-D significantly improve the accuracy of PINNs with fewer residual points. The results obtained in this study can also be used as a practical guideline in choosing sampling methods.

研究动机与目标

• 评估不同残差点采样策略如何影响 PINN 的精度与效率。
• 系统比较六种非自适应的均匀采样方法、带重采样的均匀采样，以及三种自适应采样方法（RAR-G、RAD、RAR-D）。
• 提出两种新的自适应采样方法（RAD 和 RAR-D），并在多个前向与反向 PDE 问题中评估其性能。
• 基于问题特征（光滑与振荡/复杂解）提供选择采样策略的实用指南。

提出的方法

• 将残差点采样策略分为非自适应均匀、带重采样的均匀，以及自适应方法进行回顾与分类。
• 引入 RAD：基于残差的自适应分布，PDF p(x) ∝ ε(x)^k / E[ε^k] + c。
• 引入 RAR-D：RAR-G 与 RAD 的混合，在基于 RAD 的 PDF 下增加采样点。
• 与 RAR-G（贪婪残差细化）及先前基于 PDF 的重采样方法进行比较。
• 在六个 PDE 问题（四个前向、两个反向）上使用十种采样方法，执行大量数值实验（>6000 次 PINN 运行）。
• 使用输出的 L2 相对误差评估性能，在反问题中，额外使用参数相对误差进行评估。

实验结果

研究问题

• RQ1 不同残差点采样策略在前向 PINN 问题的精度方面有何差异？
• RQ2 自适应方法（RAR-G、RAD、RAR-D）在具有不同解特征的 PDE 问题中相对于非自适应方法的表现如何？
• RQ3 残差点数量与重采样周期对 PINN 性能有何影响？
• RQ4 相比非自适应方法，RAD 与 RAR-D 是否能为反向 PINN（参数恢复）提供可靠的改进？

主要发现

• RAD 在所有前向和反向问题中始终获得十种采样方法中的最佳精度。
• 对于解具有复杂或尖锐梯度的 PDE（如 Burgers’ 和多尺度波动方程），RAD 与 RAR-D 在较少的残差点情况下显著提升精度。
• 对于平滑的 PDE（如扩散方程），某些均匀方法（如 Hammersley、Random-R）也表现良好，有时达到相似的误差。
• Fixed 的非自适应方法中，Random-R 通常优于其他固定均匀方法。
• 当残差点为低差异序列（Halton、Hammersley、Sobol）时，通常优于网格、LHS 和 Random；在自适应设置下，RAD/RAR-D 进一步带来提升。
• 在反问题中，RAD 与 RAR-D 在输出和/或参数的误差方面达到最小值，优于 Grid、Random、LHS、Halton、Hammersley、Sobol 和 Random-R 的情况。