[论文解读] DEQGAN: Learning the Loss Function for PINNs with Generative Adversarial Networks

Blake Bullwinkel, Dylan Randle+2 more|arXiv (Cornell University)|Sep 15, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

DEQGAN 提出了一种新颖的生成对抗网络框架，以完全无监督的方式学习物理信息神经网络（PINNs）的损失函数，消除了对人工指定损失函数（如 L2、L1 或 Huber）的依赖。该方法在 12 个常微分方程和偏微分方程（包括 Burgers、Allen-Cahn 和改进的爱因斯坦引力方程）上实现了高达多个数量级更低的均方误差，相较于标准 PINNs 展现出更优的准确性和鲁棒性，并在性能上与经典数值方法相当。

ABSTRACT

Solutions to differential equations are of significant scientific and engineering relevance. Physics-Informed Neural Networks (PINNs) have emerged as a promising method for solving differential equations, but they lack a theoretical justification for the use of any particular loss function. This work presents Differential Equation GAN (DEQGAN), a novel method for solving differential equations using generative adversarial networks to "learn the loss function" for optimizing the neural network. Presenting results on a suite of twelve ordinary and partial differential equations, including the nonlinear Burgers', Allen-Cahn, Hamilton, and modified Einstein's gravity equations, we show that DEQGAN can obtain multiple orders of magnitude lower mean squared errors than PINNs that use $L_2$, $L_1$, and Huber loss functions. We also show that DEQGAN achieves solution accuracies that are competitive with popular numerical methods. Finally, we present two methods to improve the robustness of DEQGAN to different hyperparameter settings.

研究动机与目标

• 为解决 PINNs 中损失函数选择缺乏理论依据的问题，而 PINNs 广泛用于求解微分方程。
• 开发一种完全无监督的方法，在训练过程中学习最优损失函数，而非依赖固定的损失函数（如 L2 或 Huber）。
• 提升求解具有挑战性的高度非线性微分方程（如 Burgers 方程和改进的爱因斯坦引力方程）时的解的准确性和鲁棒性。
• 引入适用于基于 GAN 的 PINN 框架的训练稳定性技术，包括实例噪声和残差监控。
• 证明基于 GAN 的损失学习方法在多样化的微分方程集合上优于标准 PINN 损失函数。

提出的方法

• DEQGAN 采用生成对抗网络架构，其中生成器网络用于求解微分方程，判别器则学习区分真实解与预测解，从而隐式学习损失函数。
• 判别器通过最大化其识别预测解与真实解之间差异的能力进行训练，从而隐式塑造生成器的损失景观。
• 生成器通过最小化来自判别器输出的对抗性损失进行训练，实现无需预设损失函数的端到端优化。
• 在训练过程中引入实例噪声，以稳定判别器并提升在多样化超参数设置下的泛化能力。
• 通过在训练初期跟踪方程残差的 L1 范数方差，实现残差监控，以检测并终止收敛性差的训练过程。
• 该方法被应用于广泛的常微分方程和偏微分方程，包括非线性和高维问题，并与标准 PINN 损失函数及经典数值求解器进行对比评估。

实验结果

研究问题

• RQ1 基于 GAN 的框架能否学习到比人工指定损失函数（如 L2、L1 或 Huber）更有效的 PINN 损失函数？
• RQ2 DEQGAN 中的对抗性训练过程是否能在具有挑战性的微分方程上显著降低解误差？
• RQ3 DEQGAN 能否在解的精度上达到与第四阶龙格-库塔法和二阶有限差分格式等成熟数值方法相当的水平？
• RQ4 实例噪声和残差监控在提升 DEQGAN 在多样化超参数设置下的鲁棒性方面有多有效？
• RQ5 由判别器学习到的损失函数是否能在不同类型微分方程（包括非线性和刚性系统）之间实现泛化？

主要发现

• 在改进的爱因斯坦引力方程上，DEQGAN 实现的均方误差比使用 L2、L1 或 Huber 损失的 PINNs 低高达 10^8 倍，而标准 PINNs 在该问题上无法收敛。
• 在非线性 Burgers 方程上，DEQGAN 实现了 4×10^−6 的均方误差，显著低于最佳 PINN 基线的 1×10^−4。
• 在哈密顿系统（HAM）上，DEQGAN 实现了 1×10^−10 的均方误差，优于最佳 PINN 基线（6×10^−9），并达到第四阶龙格-库塔法的精度水平。
• 残差监控在训练前 25% 时间内成功检测到 100% 的均方误差 ≥10^−5 的训练过程，实现早期终止，减少计算浪费。
• 引入实例噪声后，96% 的 DEQGAN 训练运行在最终均方误差 ≤10^−8 时成功完成，而基线 DEQGAN 在无噪声条件下失败率较高。
• 在全部 12 个测试方程上，DEQGAN 的解精度与经典数值方法（包括二阶有限差分和第四阶龙格-库塔求解器）相当。