[论文解读] Least-Squares ReLU Neural Network (LSNN) Method For Scalar Nonlinear Hyperbolic Conservation Law

Zhiqiang Cai, Jingshuang Chen+1 more|arXiv (Cornell University)|May 25, 2021

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种用于求解标量非线性双曲守恒律的块空间-时间最小二乘ReLU神经网络（LSNN）方法，通过在ReLU神经网络函数上采用最小二乘公式，结合数值积分与保守有限体积格式。该方法能准确捕捉间断激波，且无吉布斯现象，并在自由度方面低于传统基于网格的方法。

ABSTRACT

We introduced the least-squares ReLU neural network (LSNN) method for solving the linear advection-reaction problem with discontinuous solution and showed that the method outperforms mesh-based numerical methods in terms of the number of degrees of freedom. This paper studies the LSNN method for scalar nonlinear hyperbolic conservation law. The method is a discretization of an equivalent least-squares (LS) formulation in the set of neural network functions with the ReLU activation function. Evaluation of the LS functional is done by using numerical integration and conservative finite volume scheme. Numerical results of some test problems show that the method is capable of approximating the discontinuous interface of the underlying problem automatically through the free breaking lines of the ReLU neural network. Moreover, the method does not exhibit the common Gibbs phenomena along the discontinuous interface.

研究动机与目标

• 解决具有间断解的标量非线性双曲守恒律问题，其中传统基于网格的方法易受吉布斯现象影响并需复杂稳定化处理。
• 开发一种基于ReLU神经网络的无网格数值方法，利用网络的分段线性结构自动适应间断界面。
• 通过引入块空间-时间LSNN方法，按流入与初始条件顺序处理区域，克服非线性双曲问题中的训练不稳定性。
• 通过源自守恒格式（如Roe与ENO）的隐式有限差分算子，弱式强制满足Rankine-Hugoniot间断条件。
• 证明LSNN方法在自由度更少的情况下仍能实现高精度，尤其在激波特性的解析方面优于传统有限体积方法。

提出的方法

• 将标量非线性双曲守恒律表述为在ReLU神经网络函数空间上的最小二乘最小化问题，以最小化PDE残差、初始条件与流入边界条件的残差。
• 通过数值积分与保守有限体积格式离散化最小二乘泛函，以近似空间导数与通量。
• 引入隐式离散有限差分算子，以弱式强制在间断处满足Rankine-Hugoniot间断条件，确保物理一致性。
• 提出块空间-时间LSNN方法，根据流入与初始数据将空间-时间区域划分为顺序块，通过逐步传播信息实现稳定训练。
• 将前一块的训练参数作为下一块的初始化，提升非线性、时间依赖问题中的收敛性与稳定性。
• 采用二阶ENO与Roe格式进行数值通量计算，以增强激波附近精度，同时保持守恒性。

实验结果

研究问题

• RQ1 最小二乘ReLU神经网络（LSNN）方法能否在无虚假振荡的情况下有效解析标量非线性双曲守恒律中的间断激波？
• RQ2 与全局LSNN方法相比，块空间-时间LSNN方法在非线性双曲问题中如何提升训练稳定性和精度？
• RQ3 LSNN方法相比传统基于网格的方法（如有限体积格式）在自由度方面减少了多少？
• RQ4 不同的数值通量格式（Roe与ENO）对LSNN方法的精度与激波特性的解析有何影响？
• RQ5 LSNN方法能否以足够精度捕捉复杂波结构，如膨胀波与非凸通量？

主要发现

• LSNN方法在无粘性Burgers方程中成功捕捉了间断激波，即使在分段线性初始条件下也未出现吉布斯现象。
• 在六个块上使用ENO通量的LSNN方法在$t=0.6$时的相对$L^2$误差低于0.053，其中第一块误差最低（0.008958），表明激波特性的解析效果良好。
• 尽管计算成本更高，ENO通量变体在相对$L^2$误差与激波轮廓精度方面均优于Roe通量变体，尤其在间断附近表现更优。
• 块空间-时间LSNN方法在显著降低自由度的同时，保持了与标准有限体积方法相当甚至更高的激波特性的解析精度。
• 该方法通过ReLU网络的自由断裂线结构，有效适应了陡峭梯度与间断问题，展现出良好的鲁棒性。
• 尽管结果令人鼓舞，LSNN方法在复杂初始条件与非凸通量问题中仍表现出精度局限，表明需改进数值通量与优化策略。