[论文解读] Learning in Sinusoidal Spaces with Physics-Informed Neural Networks

Jian Cheng Wong, Chinchun Ooi+2 more|arXiv (Cornell University)|Sep 20, 2021

Model Reduction and Neural Networks参考文献 34被引用 10

一句话总结

本文提出sf-PINN，一种物理信息神经网络，通过将输入映射到正弦空间来增强梯度可变性，并在训练过程中逃逸欺骗性局部极小值。通过调节输入频率的正弦特征映射，sf-PINN在多个物理领域内的各类前向与反向PDE问题中均实现了更优的收敛性与准确性。

ABSTRACT

A physics-informed neural network (PINN) uses physics-augmented loss functions, e.g., incorporating the residual term from governing partial differential equations (PDEs), to ensure its output is consistent with fundamental physics laws. However, it turns out to be difficult to train an accurate PINN model for many problems in practice. In this paper, we present a novel perspective of the merits of learning in sinusoidal spaces with PINNs. By analyzing behavior at model initialization, we first show that a PINN of increasing expressiveness induces an initial bias around flat output functions. Notably, this initial solution can be very close to satisfying many physics PDEs, i.e., falling into a local minimum of the PINN loss that only minimizes PDE residuals, while still being far from the true solution that jointly minimizes PDE residuals and the initial and/or boundary conditions. It is difficult for gradient descent optimization to escape from such a local minimum trap, often causing the training to stall. We then prove that the sinusoidal mapping of inputs, in an architecture we label as sf-PINN, is effective to increase input gradient variability, thus avoiding being trapped in such deceptive local minimum. The level of variability can be effectively modulated to match high-frequency patterns in the problem at hand. A key facet of this paper is the comprehensive empirical study that demonstrates the efficacy of learning in sinusoidal spaces with PINNs for a wide range of forward and inverse modelling problems spanning multiple physics domains.

研究动机与目标

• 解决由于泛化能力差和收敛性问题导致的物理信息神经网络（PINNs）训练准确性挑战。
• 识别出增加PINN表达能力会引发输出函数趋于平坦的初始偏差，这可能导致优化陷入次优局部极小值。
• 探究正弦输入变换是否能提升梯度可变性并改善PINNs中的优化动力学。
• 证明正弦特征映射在保持物理一致性的同时，能够有效逃逸欺骗性局部极小值。
• 在流体动力学、热传导和结构力学等多个领域的多样化前向与反向问题中，提供实证验证。

提出的方法

• 提出一种新架构sf-PINN，该架构在将特征输入标准PINN之前应用正弦变换。
• 使用可学习的频率调制参数来控制输入频率水平，从而适应问题中的高频模式。
• 引入一种改进的损失函数，结合PDE残差、边界/初始条件约束以及正则化项，以稳定训练过程。
• 分析PINNs的初始化行为，表明平坦解普遍存在且具有问题性，尤其在PDE残差过早最小化时。
• 实施基于梯度的分析，证明正弦映射可增加输入梯度方差，从而改善优化轨迹。
• 采用多尺度训练策略，逐步提高正弦映射的频率，以匹配底层PDE的复杂度。

实验结果

研究问题

• RQ1 为何标准PINNs在最小化PDE残差后仍常无法收敛到准确解？
• RQ2 PINNs的初始化如何影响其优化轨迹与收敛行为？
• RQ3 正弦输入变换是否能改善梯度流动并帮助PINN训练中逃逸局部极小值？
• RQ4 在输入空间中进行频率调制在多大程度上能增强对高频物理现象的表征能力？
• RQ5 sf-PINN在解决多样化物理领域中的前向与反向问题时，相较于标准PINNs表现如何？

主要发现

• 表达能力不断增强的PINNs表现出强烈的初始偏差，倾向于输出平坦函数，这可能导致在PDE残差较低但边界条件满足度差的局部极小值处过早收敛。
• 所提出的sf-PINN架构在多个基准PDE问题中显著提升了训练稳定性与收敛速度，包括Navier-Stokes方程与热传导方程。
• 正弦输入映射增加了输入梯度的可变性，从而改善了优化动力学，并降低了陷入欺骗性局部极小值的可能性。
• 正弦映射的频率可有效调节以匹配目标解的频谱内容，从而提升泛化能力与准确性。
• 实证结果表明，sf-PINN在前向与反向问题中均优于标准PINNs，某些情况下相对误差降低高达70%。
• 该方法在流体动力学、弹性力学与热传导等多个物理领域中表现出鲁棒性，证实了其通用性。