[論文レビュー] Least-Squares Neural Network (LSNN) Method for Scalar Hyperbolic Partial Differential Equations

Min Liu, Zhiqiang Cai|arXiv (Cornell University)|Jan 27, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

要約: 本章は、スカラーの一次ハイペルボリック偏微分方程式を等価な最小二乗問題へ再定式化し、ReLUニューラルネットワークで解を近似するLSNN法を提案する。ペナルティ項を用いず、物理を preserving する。

ABSTRACT

This chapter offers a comprehensive introduction to the least-squares neural network (LSNN) method introduced in [14,16], for solving scalar first-order hyperbolic partial differential equations, specifically linear advection-reaction equations and nonlinear hyperbolic conservation laws. The LSNN method is built on an equivalent least-squares formulation of the underlying problem on an admissible solution set that accommodates discontinuous solutions. It employs ReLU neural networks (in place of finite elements) as the approximating functions, uses a carefully designed physics-preserved numerical differentiation, and avoids penalization techniques such as artificial viscosity, entropy condition, and/or total variation. This approach captures shock features in the solution without oscillations or overshooting. Efficiently and reliably solving the resulting non-convex optimization problem posed by the LSNN method remains an open challenge. This chapter concludes with a brief discussion on application of the structure-guided Gauss-Newton (SgGN) method developed recently in [21] for solving shallow NN approximation.

研究の動機と目的

• スカラー線形アドベクション反応方程式と非線形ハイペルボリック保全則の解法を動機づける。
• 不連続を持つ界面でも良く定義される等価な最小二乗形式を提供する。
• ReLUニューラルネットワークが不連続解を振動なしで近似できることを示す。
• 物理を preserve する微分とペナルティ定数なしの LSNN 訓練フレームワークを説明する。
• 実用的なソルバ戦略と標準問題に対する潜在的な数値結果を議論する。

提案手法

• 不連続解を含む適法解集合上のL2最小二乗汎関数へハイペルボリックPDEを再定式化する。
• 全域での移流反応問題を扱う方向微分 D_beta を用いる（式(5)）。
• LS 関数alsL(v; g) とその派生形を定義し、ペナルティ項なしで PDE残差と流入・初期データを課す（式(7), (8), (9–10), (21), (25–27)）。
• 近接層界を捉えるために分割線形構造を持つ ReLU ニューラルネットワークを近似族として採用する。
• 物理を保つ数値微分と適切な積分離散化を用いてLS汎関数を形成する。
• 得られる非凸最適化問題に対して構造導関 Gauss-Newton（SgGN）を潜在的ソルバとして議論する。

(a) $p_{1}({\bf x})$

実験結果

リサーチクエスチョン

• RQ1 不連続解を持つスカラー一次ハイペルボリックPDEを界面で有効な良定義の最小二乗問題へどのように再定式化できるか。
• RQ2 ReLUニューラルネットワークは振動や人工粘性ペナルティなしに不連続解を効率良く近似できるか。
• RQ3 LSNN 形式が非凸最適化問題のソルバ性能と収束性に与える影響は何か。
• RQ4 方向微分と発散ベースの定式化を通じて物理を保存することの理論的・実践的含意は何か。
• RQ5 LSNNベースの解はハイペルボリック問題におけるDoF効率の面で従来法（例：AMR）とどう比較されるか。

主な発見

• LSNN は不連続解を扱うペナルティ（人工粘性やエントロピー条件など）に依存しない等価な最小二乗形式を提供する。
• ReLU ニューラルネットワークは未知の界面を持つ不連続性を、分割線形構造と物理を保つ微分を設計的に活用して近似できる。
• LSNN アプローチはショックを振動や過振動なしに捉えることを目指し、単純な離散化に伴う Gibbs 型アーティファクトを回避する。
• この定式化は非凸最適化問題を生み、反復ソルバと初期化戦略は活発な研究分野である。
• 章は構造導来 Gauss-Newton（SgGN）法がLSNN内の浅いNN近似を解く可能性を議論する。

(b) $p_{2}({\bf x})$