[论文解读] PIAT: Physics Informed Adversarial Training for Solving Partial Differential Equations

Simin Shekarpaz, Mohammad Azizmalayeri+1 more|arXiv (Cornell University)|Jul 14, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出物理信息对抗训练（PIAT），一种新颖方法，通过自动微分将对抗训练与PDE约束相结合，以增强物理信息神经网络（PINNs）。PIAT在非线性PDE上实现了显著更低的测试误差和更好的泛化性能，包括高维的Allen-Cahn方程和Kuramoto-Sivashinsky方程，在多个基准测试中，使用更少的配点和迭代次数，优于标准PINN、权重衰减和高斯平滑基线方法。

ABSTRACT

In this paper, we propose the physics informed adversarial training (PIAT) of neural networks for solving nonlinear differential equations (NDE). It is well-known that the standard training of neural networks results in non-smooth functions. Adversarial training (AT) is an established defense mechanism against adversarial attacks, which could also help in making the solution smooth. AT include augmenting the training mini-batch with a perturbation that makes the network output mismatch the desired output adversarially. Unlike formal AT, which relies only on the training data, here we encode the governing physical laws in the form of nonlinear differential equations using automatic differentiation in the adversarial network architecture. We compare PIAT with PINN to indicate the effectiveness of our method in solving NDEs for up to 10 dimensions. Moreover, we propose weight decay and Gaussian smoothing to demonstrate the PIAT advantages. The code repository is available at https://github.com/rohban-lab/PIAT.

研究动机与目标

• 解决标准PINN在求解非线性偏微分方程（PDEs）时存在的非光滑性和泛化能力差的问题。
• 通过将对抗训练整合到物理信息学习框架中，提升模型的鲁棒性和解的光滑性。
• 在标准PINN难以收敛和保持精度的高维和高阶PDE上，验证PIAT的有效性。
• 研究正则化技术（如权重衰减和高斯平滑）在物理信息对抗训练背景下的影响。
• 提供一个统一框架，通过单一神经网络架构同时强制执行PDE、边界条件和解的连续性。

提出的方法

• 通过自动微分在输入数据和PDE残差损失上生成对抗扰动，将对抗训练集成到PINN框架中。
• 使用单一全连接神经网络在整个定义域上表示解，确保解及其导数的连续性。
• 将损失函数制定为数据保真度、边界条件强制执行和来自扰动PDE残差的对抗损失的组合。
• 对网络输入和PDE残差项施加对抗扰动，以提升学习解的鲁棒性和光滑性。
• 使用Adam优化器，结合拉丁超立方采样（LHS）生成训练数据，并在配点上最小化组合损失函数。
• 将权重衰减和高斯平滑作为消融基线，与所提出的PIAT方法进行泛化性能对比。

实验结果

研究问题

• RQ1 对抗训练能否在求解非线性PDE时提升物理信息神经网络的光滑性和泛化能力？
• RQ2 在低维和高维PDE中，PIAT与标准PINN、权重衰减和高斯平滑相比，在测试误差和收敛速度方面表现如何？
• RQ3 将PDE约束整合到对抗训练过程中是否能带来更高的解精度和更均匀的误差分布？
• RQ4 PIAT是否能在比标准PINN更少的配点和迭代次数下实现收敛？
• RQ5 PIAT在高维PDE（如d=10的Allen-Cahn方程）上的表现如何？

主要发现

• 在Kuramoto-Sivashinsky方程上，PIAT将测试损失降低了高达50%，测试损失为$3.04 \times 10^{-7}$，而标准PINN为$6.96 \times 10^{-7}$。
• 对于高维Allen-Cahn方程（d=10），PIAT的测试损失为$\mathbf{0.00118}$，而PINN为$0.00284$，表明在高维情况下性能更优。
• PIAT在定义域内保持了均匀低水平的逐点绝对误差，如图5所示，表明其具有稳定的一致泛化能力和光滑性。
• 在消融研究中，PIAT优于权重衰减和高斯平滑，后者表明对抗扰动比随机噪声更有效地提升泛化能力。
• PIAT在更少的迭代次数和配点下实现收敛，尤其在示例2中，训练损失在10,000个周期后降至$2.32 \times 10^{-7}$。
• 在Sawada–Kotera方程上，PIAT在所有测试的$x$和$t$范围内均表现出显著低于PINN的误差，证实其在非线性和高阶PDE中的鲁棒性。