[論文レビュー] Least-Squares ReLU Neural Network (LSNN) Method For Scalar Nonlinear Hyperbolic Conservation Law

Zhiqiang Cai, Jingshuang Chen+1 more|arXiv (Cornell University)|May 25, 2021

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、数値積分および保存則を満たす有限体積スキームを用いて、ReLUニューラルネットワーク関数上の最小二乗法による定式化を活用することで、スカラー非線形双曲型保存則を解くためのブロック時空最小二乗ReLUニューラルネットワーク（LSNN）法を提案する。この手法は、ギブズ現象を示さずに不連続な衝撃波を正確に捉えることができ、従来のメッシュベース手法よりも自由度が低くなる。

ABSTRACT

We introduced the least-squares ReLU neural network (LSNN) method for solving the linear advection-reaction problem with discontinuous solution and showed that the method outperforms mesh-based numerical methods in terms of the number of degrees of freedom. This paper studies the LSNN method for scalar nonlinear hyperbolic conservation law. The method is a discretization of an equivalent least-squares (LS) formulation in the set of neural network functions with the ReLU activation function. Evaluation of the LS functional is done by using numerical integration and conservative finite volume scheme. Numerical results of some test problems show that the method is capable of approximating the discontinuous interface of the underlying problem automatically through the free breaking lines of the ReLU neural network. Moreover, the method does not exhibit the common Gibbs phenomena along the discontinuous interface.

研究の動機と目的

• 従来のメッシュベース手法がギブズ現象を示し、複雑な安定化を要する不連続解を有するスカラー非線形双曲型保存則を解く課題に対処すること。
• ReLUニューラルネットワークを用いたメッシュフリーな数値法を開発し、ネットワークの区分線形構造により不連続界面に自動的に適応できることを実現すること。
• 非線形双曲型問題における学習の不安定性を克服するため、流入および初期条件に基づいて領域を段階的に処理するブロック時空LSNNアプローチを導入すること。
• ローレンツ＝フーゴニョのジャンプ条件を弱く強制するため、ローレとENOのような保存則スキームから導かれる暗黙の差分演算子を用いること。
• LSNN法が従来の有限体積法に比べて自由度を著しく低く抑えつつも高い精度を達成できることを示すこと、特に衝撃波の解像度において優れていること。

提案手法

• スカラー非線形双曲型保存則を、PDE、初期条件、流入境界条件の残差を最小化するReLUニューラルネットワーク関数空間上の最小二乗最適化問題として定式化する。
• 数値積分および保存則を満たす有限体積スキームを用いて、最小二乗汎関数を離散化し、空間微分およびフラックスを近似する。
• 不連続点におけるランキン＝フーゴニョのジャンプ条件を弱く強制するために、暗黙の離散差分演算子を導入し、物理的一致性を確保する。
• 流入および初期データに基づいて時空領域を段階的なブロックに分割するブロック時空LSNN法を提案し、段階的な情報伝搬により学習の安定性を実現する。
• 1つのブロックで学習したパラメータを次のブロックの初期値として用いることで、非線形かつ時間依存問題における収束性と安定性を向上させる。
• 衝撃波付近での精度を高めるために、2次精度のENOおよびローレスキームを用いて数値フラックスを評価する。

実験結果

リサーチクエスチョン

• RQ1 最小二乗ReLUニューラルネットワーク（LSNN）法は、スカラー非線形双曲型保存則における不連続な衝撃波を、不適切な振動を伴わず効果的に解像できるか？
• RQ2 ブロック時空LSNN法は、非線形双曲型問題においてグローバルLSNNアプローチと比較して、学習の安定性と精度をどのように向上させるか？
• RQ3 LSNN法は、従来のメッシュベース手法（有限体積スキームなど）と比較して、自由度をどの程度低減できるか？
• RQ4 異なる数値フラックススキーム（ローレ対ENO）は、LSNN法の精度および衝撃波解像度にどのような影響を与えるか？
• RQ5 LSNN法は、レアファクション波や非凸フラックスを含む複雑な波構造を十分な精度で捉えることができるか？

主な発見

• LSNN法は、ギブズ現象を示さずに、粘性のないバーガーズ方程式における不連続な衝撃波を、区分線形初期条件でさえも正確に捉えることに成功した。
• 6つのブロックにおけるENOフラックスLSNN法の相対$L^2$誤差は$t=0.6$で0.053未満であり、最初のブロックでは最小誤差（0.008958）を示しており、優れた衝撃波解像度が得られた。
• ENOフラックスバージョンは、相対$L^2$誤差および衝撃波プロファイルの精度において、ローレフラックスバージョンを上回ったが、計算コストは高かった。
• ブロック時空LSNN法は、標準的な有限体積法と比較して自由度を顕著に低減させつつ、衝撃波解像度において高い精度を維持した。
• ReLUネットワークの自由な断片的線形構造を活用することで、急勾配および不連続性を有する問題に対して、衝撃波の位置を適応的に特定できる柔軟性を示した。
• 有望な結果が得られたが、複雑な初期条件および非凸フラックスでは精度に限界が見られ、より洗練された数値フラックスおよび最適化戦略の開発が今後の課題であると示唆された。