[論文レビュー] wPINNs: Weak Physics informed neural networks for approximating entropy solutions of hyperbolic conservation laws

Tim De Ryck, Siddhartha Mishra+1 more|arXiv (Cornell University)|Jul 18, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、Kruzkhovのエントロピー条件に基づくミニマックス最適化問題を解くことで、スカラー双曲型保存則のエントロピー解を近似する、弱い物理情報付きニューラルネットワーク（wPINNs）という、新規の非教師付き学習フレームワークを提案する。この手法は、厳密な誤差バインディングを達成し、従来のPINNsが失敗する不連続なショック解を正確に捉えることができる。

ABSTRACT

Physics informed neural networks (PINNs) require regularity of solutions of the underlying PDE to guarantee accurate approximation. Consequently, they may fail at approximating discontinuous solutions of PDEs such as nonlinear hyperbolic equations. To ameliorate this, we propose a novel variant of PINNs, termed as weak PINNs (wPINNs) for accurate approximation of entropy solutions of scalar conservation laws. wPINNs are based on approximating the solution of a min-max optimization problem for a residual, defined in terms of Kruzkhov entropies, to determine parameters for the neural networks approximating the entropy solution as well as test functions. We prove rigorous bounds on the error incurred by wPINNs and illustrate their performance through numerical experiments to demonstrate that wPINNs can approximate entropy solutions accurately.

研究の動機と目的

• 解の正則性の欠如により、従来の物理情報付きニューラルネットワーク（PINNs）が、双曲型保存則の不連続なエントロピー解を近似できないという問題に対処する。
• 滑らかさの仮定に依存しないようにするために、エントロピー条件の弱い定式化を活用する、新しい非教師付き学習フレームワークを開発する。
• トレーニング誤差、ネットワーク容量、コロケーション点の密度に依存する厳密な誤差バインディングを証明することで、理論的収束を保証する。
• 数値的に、wPINNsがラベルなしデータを用いても、例えばバーガース方程式のようなスカラー保存則のエントロピー解を正確に近似できることを示す。
• 今後の研究において、パrametric PDE や保存則の系への拡張の基盤を築く。

提案手法

• 点での残差の代わりに、積分に基づくエントロピー不等式として、Kruzkhovのエントロピー条件の弱い形を用いて残差を定式化する。
• ニューラルネットワークが弱い定式化に使われるテスト関数とエントロピー解の両方を近似するミニマックス最適化問題を構築する。
• 有限個のコロケーション点を用いて弱い残差を離散化し、トレーニング中に確率的最適化を可能にする。
• 解とテスト関数の両方のアーベスツ関数としてニューラルネットワークを活用することで、完全な非教師付き学習を実現する。
• 理論的解析において、強制性推定と四則誤差バインディングを組み合わせることで、安定性と収束性を保証する。
• 解ネットワークとテスト関数ネットワークの間で交互に最適化を行うことで、GANに類似した構造を模倣してモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 解の不連続性が存在するにもかかわらず、修正されたPINNフレームワークが、スカラー双曲型保存則のエントロピー解を正確に近似できるか？
• RQ2 点での残差を弱いエントロピー残差に置き換えることで、ショックが存在する状況での収束性と精度が向上するか？
• RQ3 トレーニング誤差、ネットワークサイズ、コロケーションサンプリングに依存する、このようなフレームワークに対する厳密な誤差バインディングを導出できるか？
• RQ4 バーガース方程式のような不連続解の近似において、wPINNsの性能は標準PINNsと比べてどうなるか？
• RQ5 標準PINNの最小化問題と比較して、ミニマックス問題を解くことの計算的・スケーラビリティ上のトレードオフは何か？

主な発見

• wPINNsは、バーガース方程式におけるショック波を含む、スカラー保存則のエントロピー解を成功裏に近似でき、標準PINNsが無限大の残差により失敗する状況でも有効である。
• 理論的解析により、トレーニング誤差を小さくし、ネットワーク容量を増やし、十分な数のコロケーション点を用いることで、wPINNsの総誤差を任意に小さくできることが示された。
• Kruzkhovのエントロピー条件に基づく残差を最小化することで、弱い意味での収束を達成し、物理的に意味のある解を選択するために不可欠な条件を満たしている。
• 数値実験により、ラベルなしデータを用いても、wPINNsが不連続解を有する問題において、標準PINNsを上回る精度を達成することが確認された。
• Kruzkhovのエントロピーが高次元でも適切に定義されるため、このフレームワークは多次元スカラー保存則へも拡張可能である。
• パラメトリックPDEや保存則の系への今後の研究の基盤を提供するが、複数のエントロピー族の欠如により、系への拡張は依然として困難である。