[论文解读] A Novel Adaptive Causal Sampling Method for Physics-Informed Neural Networks

Jia Guo, Haifeng Wang+1 more|arXiv (Cornell University)|Oct 24, 2022

Model Reduction and Neural Networks被引用 11

一句话总结

本文提出一种用于物理信息神经网络（PINNs）的自适应因果采样方法（ACSM），通过在自适应配点选择中引入时间因果性，提升了训练效率与精度。结合基于残差的重要度与时间顺序约束，ACSM 在计算开销极低的情况下，将相对 $L^2$ 误差降低多达两个数量级，尤其在低数据场景下表现优异。

ABSTRACT

Physics-Informed Neural Networks (PINNs) have become a kind of attractive machine learning method for obtaining solutions of partial differential equations (PDEs). Training PINNs can be seen as a semi-supervised learning task, in which only exact values of initial and boundary points can be obtained in solving forward problems, and in the whole spatio-temporal domain collocation points are sampled without exact labels, which brings training difficulties. Thus the selection of collocation points and sampling methods are quite crucial in training PINNs. Existing sampling methods include fixed and dynamic types, and in the more popular latter one, sampling is usually controlled by PDE residual loss. We point out that it is not sufficient to only consider the residual loss in adaptive sampling and sampling should obey temporal causality. We further introduce temporal causality into adaptive sampling and propose a novel adaptive causal sampling method to improve the performance and efficiency of PINNs. Numerical experiments of several PDEs with high-order derivatives and strong nonlinearity, including Cahn Hilliard and KdV equations, show that the proposed sampling method can improve the performance of PINNs with few collocation points. We demonstrate that by utilizing such a relatively simple sampling method, prediction performance can be improved up to two orders of magnitude compared with state-of-the-art results with almost no extra computation cost, especially when points are limited.

研究动机与目标

• 为解决现有PINNs自适应采样方法忽略时间因果性导致在低数据场景下性能不佳的局限性。
• 提升PINNs在求解具有高阶导数与强非线性的时变PDE时的泛化能力与效率。
• 提出一种尊重解演化时间顺序的采样策略，模拟传统数值格式的时序特性。
• 证明在采样中强制实施因果性可显著提升预测精度，且计算开销极低。
• 在有限配点条件下，于Cahn-Hilliard与KdV等复杂PDE上验证该方法的有效性。

提出的方法

• 该方法引入时间因果性权重，优先在早期时间子域中采样，确保解按时间顺序被学习。
• 配点基于联合准则自适应选择：PDE残差损失与时间因果性权重。
• 将时空域划分为 $n_t = 10$ 个时间子域，采样按时间顺序从早到晚依次进行。
• 自适应采样策略采用动态选择机制，在尊重时间顺序的前提下聚焦于残差误差较高的区域。
• 损失函数包含初始/边界条件损失与PDE残差损失，后者同时加权于残差大小与时间因果性。
• 方法采用标准PINN架构（4×128全连接层）并使用ADAM优化 $1 imes 10^5$ 次迭代。

实验结果

研究问题

• RQ1 在自适应采样中强制实施时间因果性是否能提升PINNs在时变PDE上的性能？
• RQ2 是否可通过因果感知采样策略显著减少所需配点数量而不损失精度？
• RQ3 与当前最先进自适应及固定采样技术相比，所提方法在误差与效率方面表现如何？
• RQ4 当仅提供少量配点时，该方法是否仍能保持高性能？
• RQ5 该方法是否可推广至具有高阶导数与强非线性的其他PDE？

主要发现

• ACSM仅使用300个配点，便将KdV方程的相对 $L^2$ 误差降低至 $5.662 \times 10^{-2}$，相比标准PINNs的 $5.348 \times 10^{-1}$ 提升一个数量级以上。
• 在Cahn-Hilliard方程（情形1）中，ACSM以极少配点实现相对 $L^2$ 误差 $10^{-3}$，而其他方法仅能达到 $10^{-1}$ 或 $10^{0}$ 量级。
• 在低数据条件下，ACSM相较当前最先进采样方法，预测精度最高提升两个数量级。
• 在高配点数量下，该方法性能与其它方法相当，表明其在不同数据规模下均具鲁棒性。
• ACSM的计算成本与基线方法几乎相同，训练时间与资源消耗无显著增加。
• 结果表明，该方法在数据效率与计算成本至关重要的大规模、高维PDE求解中具有强大潜力。