[论文解读] Competitive Physics Informed Networks

Qi Zeng, Kothari, Yash+2 more|arXiv (Cornell University)|Apr 23, 2022

Model Reduction and Neural Networks被引用 10

一句话总结

该论文提出了竞争性物理信息神经网络（CPINNs），这是一种新颖的对抗性框架，用PINN中的最小最大博弈替代了标准PINNs的平方残差损失。通过同时使用竞争性梯度下降训练PINN和判别器网络，CPINNs在线性与非线性PDE上实现了相对误差约10⁻⁸的水平——比标准PINNs低四个数量级，展示了此类求解器前所未有的精度。

ABSTRACT

Neural networks can be trained to solve partial differential equations (PDEs) by using the PDE residual as the loss function. This strategy is called "physics-informed neural networks" (PINNs), but it currently cannot produce high-accuracy solutions, typically attaining about $0.1\%$ relative error. We present an adversarial approach that overcomes this limitation, which we call competitive PINNs (CPINNs). CPINNs train a discriminator that is rewarded for predicting mistakes the PINN makes. The discriminator and PINN participate in a zero-sum game with the exact PDE solution as an optimal strategy. This approach avoids squaring the large condition numbers of PDE discretizations, which is the likely reason for failures of previous attempts to decrease PINN errors even on benign problems. Numerical experiments on a Poisson problem show that CPINNs achieve errors four orders of magnitude smaller than the best-performing PINN. We observe relative errors on the order of single-precision accuracy, consistently decreasing with each epoch. To the authors' knowledge, this is the first time this level of accuracy and convergence behavior has been achieved. Additional experiments on the nonlinear Schrödinger, Burgers', and Allen-Cahn equation show that the benefits of CPINNs are not limited to linear problems.

研究动机与目标

• 解决标准PINNs因平方残差损失函数导致的病态条件问题，从而难以实现高精度解的根本局限。
• 通过用原始-对偶、博弈论方法替代惩罚最小二乘法公式，克服PINNs固有的条件数问题。
• 开发一种训练框架，即使在传统PINNs失效的问题中也能实现高精度解的收敛。
• 证明该方法在非线性方程（如Schrödinger方程、Burgers方程和Allen–Cahn方程）上的泛化能力。
• 在PDE求解中实现接近单精度精度（10⁻⁸相对误差），这是此前PINN变体未曾达到的里程碑。

提出的方法

• 将PDE解建模为物理信息神经网络（PINN）与判别器网络之间的零和博弈。
• 使用竞争性梯度下降（CGD）同时训练PINN和判别器，其中判别器因识别出PINN的预测误差而获得奖励。
• 该博弈的最优Nash均衡对应于精确的PDE解，从而避免了平方残差惩罚中固有的条件数平方化问题。
• 采用最小最大目标：最小化PINN的损失，同时最大化判别器检测PDE和边界条件违反的能力。
• 使用CGD联合优化两个网络，确保训练动态的稳定与收敛。
• 在所有训练周期中使用相同的配点，未来可探索随机批量处理以提升泛化能力。

实验结果

研究问题

• RQ1 博弈论框架能否将物理信息神经网络的精度提升至标准PINNs的10⁻³至10⁻⁵误差上限之上？
• RQ2 用最小最大对抗目标替代平方残差损失，能否缓解限制PINN收敛的病态条件问题？
• RQ3 CPINNs能否在求解PDE（包括非线性方程）时实现接近单精度精度（10⁻⁸相对误差）？
• RQ4 在多种PDE类型中，CPINNs与标准PINNs相比，在收敛速度和误差降低方面表现如何？
• RQ5 CPINN框架是否可泛化至非线性和参数化PDE，如非线性Schrödinger方程、Burgers方程和Allen–Cahn方程？

主要发现

• CPINNs在二维Poisson问题上实现了约10⁻⁸的相对L₂误差，相比表现最佳的标准PINNs提升了四个数量级。
• CPINNs的误差在每个训练周期中持续下降，表明优化动态稳定且具有收敛性。
• 首次有PINN类方法实现接近单精度浮点数极限（≈10⁻⁷至10⁻⁸）的精度，超越了以往PINN基准。
• 该方法不仅适用于线性问题，还在非线性Schrödinger方程、黏性Burgers方程和Allen–Cahn方程上表现出高精度。
• 对抗性训练框架通过采用原始-对偶、博弈论公式替代惩罚最小二乘法，避免了标准PINNs中条件数平方化的问题。
• 使用竞争性梯度下降（CGD）实现了PINN与判别器的稳定联合优化，使两者在均衡时收敛至精确的PDE解。