[论文解读] Adversarial Adaptive Sampling: Unify PINN and Optimal Transport for the Approximation of PDEs

Kejun Tang, Jiayu Zhai+2 more|arXiv (Cornell University)|May 30, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了对抗自适应采样（AAS），一种新颖的极小极大框架，联合优化物理信息神经网络（PINNs）的神经网络解与训练集分布。通过将残差分布与均匀分布之间的Wasserstein距离嵌入损失函数，AAS最小化残差方差，显著降低蒙特卡洛采样误差，提升解的精度，尤其在高维和低正则性PDE中表现更优。

ABSTRACT

Solving partial differential equations (PDEs) is a central task in scientific computing. Recently, neural network approximation of PDEs has received increasing attention due to its flexible meshless discretization and its potential for high-dimensional problems. One fundamental numerical difficulty is that random samples in the training set introduce statistical errors into the discretization of loss functional which may become the dominant error in the final approximation, and therefore overshadow the modeling capability of the neural network. In this work, we propose a new minmax formulation to optimize simultaneously the approximate solution, given by a neural network model, and the random samples in the training set, provided by a deep generative model. The key idea is to use a deep generative model to adjust random samples in the training set such that the residual induced by the approximate PDE solution can maintain a smooth profile when it is being minimized. Such an idea is achieved by implicitly embedding the Wasserstein distance between the residual-induced distribution and the uniform distribution into the loss, which is then minimized together with the residual. A nearly uniform residual profile means that its variance is small for any normalized weight function such that the Monte Carlo approximation error of the loss functional is reduced significantly for a certain sample size. The adversarial adaptive sampling (AAS) approach proposed in this work is the first attempt to formulate two essential components, minimizing the residual and seeking the optimal training set, into one minmax objective functional for the neural network approximation of PDEs.

研究动机与目标

• 解决由于配点采样不理想导致的PINN训练中统计误差这一关键问题。
• 克服固定或启发式选择训练集在PINNs中的局限性，这些局限性会降低解的精度，尤其在高维或不规则PDE中。
• 利用最优传输理论，将神经网络解与训练集分布的优化统一为单一极小极大框架。
• 开发一种理论基础坚实的自适应采样策略，提升PINN近似解的泛化能力与收敛性。
• 在基准PDE问题上验证该方法的有效性，包括高维与多峰问题，定量显示其优于现有自适应采样方法。

提出的方法

• 构建一个极小极大优化问题：神经网络最小化残差损失，而深度生成模型通过Wasserstein距离最大化残差诱导分布与均匀分布之间的差异。
• 将Wasserstein距离作为正则项嵌入损失函数，隐式强制残差分布在整个定义域内保持均匀。
• 使用生成模型（类似于WGAN判别器）自适应采样配点，以最小化残差方差，实现可微分的自适应采样。
• 以对抗方式联合训练神经网络与生成模型：生成器（采样网络）优化配点分布，判别器（残差判别器）评估残差分布的均匀性。
• 引入正则化参数β以平衡残差最小化与均匀性强制，实现收敛速度与精度之间的权衡。
• 将该方法应用于线性与非线性PDE，包括高维问题（最高达10维），采用自适应采样对损失函数进行蒙特卡洛离散化。

实验结果

研究问题

• RQ1 统一的极小极大框架能否同时优化PINNs的神经网络解与训练集分布？
• RQ2 通过最优传输强制残差分布均匀性，如何降低PINN训练中的蒙特卡洛采样误差？
• RQ3 与固定或启发式采样策略相比，对抗自适应采样在低正则性或高维PDE中能多大程度上提升解的精度？
• RQ4 该方法能否自适应地在高残差误差区域集中采样，同时保持全局均匀性，从而实现更好的泛化能力？
• RQ5 正则化参数β对不同PDE类型下AAS方法的收敛性与精度有何影响？

主要发现

• 对于峰值测试问题（PDE 12），AAS将相对误差降低至2.97×10⁻⁵，优于DAS-G（3.75×10⁻⁴）与DAS-R（1.93×10⁻⁴）。
• 在双峰问题（PDE 13）中，AAS实现误差1.09×10⁻⁴，显著低于DAS-G（1.51×10⁻³）与DAS-R（6.21×10⁻³）。
• 在10维非线性PDE（PDE 14）中，AAS将误差降低至1.31×10⁻³，优于DAS-G（9.55×10⁻³）、DAS-R（1.26×10⁻²）与RAR（9.83×10⁻¹）。
• 残差方差在训练过程中单调下降，表明残差分布的均匀性得到改善，这与采样误差的降低密切相关。
• 训练集演化为在高残差区域（如(0.5,0.5)与(-0.5,-0.5)处的峰值）集中，同时保持重尾分布，增强覆盖范围。
• 该方法对不同正则化参数β（β = 5, 10, 20）均表现稳健，性能一致，表明其具有稳定的收敛行为。