[论文解读] DAS-PINNs: A deep adaptive sampling method for solving high-dimensional partial differential equations

Kejun Tang, Xiaoliang Wan+1 more|arXiv (Cornell University)|Dec 28, 2021

Model Reduction and Neural Networks被引用 11

一句话总结

本文提出 DAS-PINNs，一种深度自适应采样方法，通过使用深度生成模型（KRnet）基于残差误差分布自适应地采样配点，从而提升物理信息神经网络（PINN）求解高维偏微分方程（PDE）的性能。该方法通过在解误差最高的区域集中采样，显著提高了精度，尤其在低正则性和高维问题中表现优异，优于均匀采样和以往的自适应策略。

ABSTRACT

In this work we propose a deep adaptive sampling (DAS) method for solving partial differential equations (PDEs), where deep neural networks are utilized to approximate the solutions of PDEs and deep generative models are employed to generate new collocation points that refine the training set. The overall procedure of DAS consists of two components: solving the PDEs by minimizing the residual loss on the collocation points in the training set and generating a new training set to further improve the accuracy of current approximate solution. In particular, we treat the residual as a probability density function and approximate it with a deep generative model, called KRnet. The new samples from KRnet are consistent with the distribution induced by the residual, i.e., more samples are located in the region of large residual and less samples are located in the region of small residual. Analogous to classical adaptive methods such as the adaptive finite element, KRnet acts as an error indicator that guides the refinement of the training set. Compared to the neural network approximation obtained with uniformly distributed collocation points, the developed algorithms can significantly improve the accuracy, especially for low regularity and high-dimensional problems. We demonstrate the effectiveness of the proposed DAS method with numerical experiments.

研究动机与目标

• 解决基于深度学习的 PDE 求解器中均匀随机采样效率低下的问题，特别是在高维和低正则性问题中。
• 克服高维空间中因采样分布不佳导致的蒙特卡洛损失近似方差过高的问题。
• 开发一种灵活的迭代框架，通过聚焦于高残差误差区域来优化训练集。
• 将深度生成模型与 PINNs 集成，构建一种由误差指示器引导的自学习采样策略。
• 证明自适应采样在不依赖解结构先验知识的前提下，可有效提升解的精度。

提出的方法

• 使用物理信息神经网络（PINNs）通过在一组配点上最小化残差损失来近似 PDE 的解。
• 将 PDE 的残差视为概率密度函数，以定义基于误差的分布，用于自适应采样。
• 训练一个深度生成模型 KRnet，以学习从均匀先验（如标准正态分布）到残差诱导分布的传输映射。
• 从 KRnet 生成新的配点，使其在残差较高的区域更密集，类似于有限元方法中的自适应网格加密。
• 通过用 KRnet 生成的样本替换或扩充先前的配点集，迭代地优化训练集，每一步均提升解的精度。
• 采用两种不同的采样策略：DAS-R（基于残差密度）和 DAS-G（基于 KRnet 生成的样本），两者均集成到 PINN 训练循环中。

实验结果

研究问题

• RQ1 与均匀采样相比，基于残差分布引导的自适应采样是否能显著提升高维 PDE 中 PINN 解的精度？
• RQ2 使用深度生成模型（KRnet）建模残差诱导分布，与启发式或基于启发式的采样策略相比，其表现如何？
• RQ3 DAS-PINN 框架在多大程度上降低了泛化误差并提升了低正则性 PDE 解的收敛性？
• RQ4 自适应采样策略是否能在比均匀采样更少的配点数量下维持或提升性能？
• RQ5 通过 KRnet 生成的样本迭代优化训练集，如何影响解误差和残差方差的演化？

主要发现

• 与均匀采样和 RAR 启发式方法相比，DAS-PINNs 显著降低了误差，尤其在高维问题中（如 10D 非线性测试问题）。
• DAS-G 和 DAS-R 的误差在自适应迭代过程中迅速下降，而均匀采样和 RAR 的误差随时间变化极小或无改善。
• 在 10D 非线性问题中，DAS-R 和 DAS-G 在所有样本数量下均优于均匀采样和 RAR，且 DAS-G 展现出最一致的改进。
• DAS-R 和 DAS-G 的残差方差随时间减少，表明自适应采样后误差在域内分布更加均匀。
• 图 15 的右图显示，当自适应步数从 0 增加到 1 时，误差出现急剧下降，表明首次优化周期内即实现快速提升。
• 图 16 和图 17 的可视化结果证实，DAS-R 和 DAS-G 将采样点集中在高误差区域（如边界或不连续处），从而平坦化了误差分布。