[论文解读] Physics-informed attention-based neural network for solving non-linear partial differential equations

Ruben Rodriguez-Torrado, Pablo Jácome Ruiz+5 more|arXiv (Cornell University)|May 17, 2021

Model Reduction and Neural Networks参考文献 24被引用 13

一句话总结

本文提出物理信息注意力神经网络（PIANNs），一种新颖的网络架构，结合门控循环单元（GRUs）与自注意力机制，用于求解非线性双曲型偏微分方程（PDEs），如Buckley-Leverett方程。与依赖残差正则化或人工耗散的传统PINNs不同，PIANNs通过注意力驱动的自适应机制自动检测并捕捉激波，实现极低残差误差的高精度解，并具备强大的插值与外推能力。

ABSTRACT

Physics-Informed Neural Networks (PINNs) have enabled significant improvements in modelling physical processes described by partial differential equations (PDEs). PINNs are based on simple architectures, and learn the behavior of complex physical systems by optimizing the network parameters to minimize the residual of the underlying PDE. Current network architectures share some of the limitations of classical numerical discretization schemes when applied to non-linear differential equations in continuum mechanics. A paradigmatic example is the solution of hyperbolic conservation laws that develop highly localized nonlinear shock waves. Learning solutions of PDEs with dominant hyperbolic character is a challenge for current PINN approaches, which rely, like most grid-based numerical schemes, on adding artificial dissipation. Here, we address the fundamental question of which network architectures are best suited to learn the complex behavior of non-linear PDEs. We focus on network architecture rather than on residual regularization. Our new methodology, called Physics-Informed Attention-based Neural Networks, (PIANNs), is a combination of recurrent neural networks and attention mechanisms. The attention mechanism adapts the behavior of the deep neural network to the non-linear features of the solution, and break the current limitations of PINNs. We find that PIANNs effectively capture the shock front in a hyperbolic model problem, and are capable of providing high-quality solutions inside and beyond the training set.

研究动机与目标

• 解决当前物理信息神经网络（PINNs）在求解含激波的非线性双曲型PDEs时的局限性。
• 探究通过将物理结构直接编码至模型设计中，专用网络架构是否能优于标准PINNs。
• 消除在双曲守恒律中依赖残差正则化或人工耗散进行激波捕捉的依赖。
• 实现在Buckley-Leverett模型中不同流动比范围下解的精确插值与外推。
• 证明注意力机制能够动态适应局部非线性特征（如激波前缘）的行为。

提出的方法

• 所提出的架构结合门控循环单元（GRUs）以实现序列记忆与上下文保留，以及自注意力机制以动态加权空间与时间依赖性。
• 网络采用编码器-解码器框架，其中编码器处理整个输入域，解码器则通过关注相关特征生成预测。
• 初始条件与边界条件被直接嵌入网络架构中，精确满足而无需超参数调优。
• 损失函数仅基于最小化PDE残差，不为边界或初始条件添加额外正则化项。
• 模型通过自动微分进行端到端训练，以最小化在整个时空域上控制PDE的残差。
• 该方法在非凹通量Buckley-Leverett方程上进行评估，该问题为双曲守恒律中激波形成的标准基准问题。

实验结果

研究问题

• RQ1 集成注意力机制的物理信息神经网络架构是否能比标准PINNs更有效地求解含激波的双曲型PDEs？
• RQ2 注意力机制是否能使网络在无需人工耗散或激波位置先验知识的情况下，自动检测并适应激波前缘？
• RQ3 PIANN模型在训练中使用的流动比范围之外，其解的插值与外推能力在多大程度上得以实现？
• RQ4 随着训练数据空间与时间分辨率的提高，PIANN的残差误差如何变化？
• RQ5 PIANN是否能在不引入数值耗散的情况下，达到或优于经典有限差分格式（如迎风或中心差分）的精度？

主要发现

• PIANN模型在训练过程中将PDE残差降低至1×10⁻⁴以下，证实其能有效求解控制方程。
• 注意力机制成功识别并适应激波位置，实现了对不连续解特征的精确表示。
• 该模型在训练中使用的流动比范围之内与之外均实现了高精度解，展现出强大的泛化与外推能力。
• 残差误差随训练分辨率提升略有下降（例如，从Δx=1×10⁻²时的1×10⁻⁴降至Δx=1×10⁻³时的8.7×10⁻⁵），但变化不显著，表明对分辨率变化具有鲁棒性。
• PIANN在不引入人工耗散的情况下，性能与一阶迎风有限差分格式相当，表明其并未依赖数值扩散实现激波捕捉。
• 该方法在非凹通量Buckley-Leverett问题上优于标准PINNs，该问题因通量函数缺乏凸性而曾长期构成挑战。