[论文解读] Least-Squares Neural Network (LSNN) Method for Scalar Hyperbolic Partial Differential Equations

Min Liu, Zhiqiang Cai|arXiv (Cornell University)|Jan 27, 2026

Model Reduction and Neural Networks被引用 0

一句话总结

本章提出 LSNN 方法，通过将一阶标量双曲偏微分方程重新表述为等价的最小二乘问题，并用 ReLU 神经网络近似解，保持物理一致性且不使用惩罚项来避免数值震荡。

ABSTRACT

This chapter offers a comprehensive introduction to the least-squares neural network (LSNN) method introduced in [14,16], for solving scalar first-order hyperbolic partial differential equations, specifically linear advection-reaction equations and nonlinear hyperbolic conservation laws. The LSNN method is built on an equivalent least-squares formulation of the underlying problem on an admissible solution set that accommodates discontinuous solutions. It employs ReLU neural networks (in place of finite elements) as the approximating functions, uses a carefully designed physics-preserved numerical differentiation, and avoids penalization techniques such as artificial viscosity, entropy condition, and/or total variation. This approach captures shock features in the solution without oscillations or overshooting. Efficiently and reliably solving the resulting non-convex optimization problem posed by the LSNN method remains an open challenge. This chapter concludes with a brief discussion on application of the structure-guided Gauss-Newton (SgGN) method developed recently in [21] for solving shallow NN approximation.

研究动机与目标

• 动机：求解带不连续性的标量线性对流-反应方程和非线性双曲守恒律。
• 提供在存在不连续界面的情形下仍然良定义的等价最小二乘表述。
• 展示 ReLU 神经网络如何在不产生振荡的情况下近似不连续解。
• 解释物理保持的微分及无惩罚常数的 LSNN 训练框架。
• 讨论实际求解器策略及在基准问题上的潜在数值结果。

提出的方法

• 将双曲 PDE 重新表述为一个对可接受解集的 L2 最小二乘泛函，该解集包含不连续解。
• 使用方向导数 D_beta 处理整域上的对流-反应问题（式 (5)）。
• 定义 LS 泛函 L(v; g) 及其变形以在不使用惩罚项的情况下强制 PDE 残差和入口/初始数据（式 (7)，(8)，(9–10)，(21)，(25–27)）。
• 采用 ReLU 神经网络作为近似族，利用其分段线性结构来捕捉界面。
• 采用物理保持的数值微分与合适的积分离散化来形成 LS 泛函。
• 讨论结构引导的高斯-牛顿法（SgGN）作为求解得到的非凸优化问题的潜在求解器。

实验结果

研究问题

• RQ1 如何将具有不连续解的一阶标量超曲线PDE 重构为在界面处仍然良定义的最小二乘问题？
• RQ2 ReLU 神经网络是否能高效地近似不连续解且不出现振荡或人工粘度惩罚？
• RQ3 LSNN 形式对非凸优化问题的求解器性能和收敛性有何影响？
• RQ4 在 LSNN 中通过方向导数和散度基形式保持物理性的理论与实践意义为何？
• RQ5 基于 LSNN 的解法在自由度（DoF）效率方面与传统方法（如自适应网格 AMR）在双曲问题上有何比较？

主要发现

• LSNN 提供一个等效的最小二乘表述，能够容纳不连续解而无需依赖人工粘度或熵条件等惩罚项。
• ReLU 神经网络能通过利用其分段线性结构和精心设计的物理保持导数来近似具有未知界面的不连续性。
• LSNN 方法旨在在不产生振荡或过冲的情况下捕捉冲击，避免与简单离散化相关的吉布斯型伪影。
• 该表述导致一个非凸优化问题，迭代求解器和初始化策略是活跃的研究领域。
• 章节讨论结构引导的高斯-牛顿法（SgGN）在 LSNN 内求解浅层 NN 近似的潜力。