[論文レビュー] Self-adaptive loss balanced Physics-informed neural networks for the incompressible Navier-Stokes equations

Zixue Xiang, Wei Peng+3 more|arXiv (Cornell University)|Apr 13, 2021

Model Reduction and Neural Networks参考文献 52被引用数 26

ひとこと要約

この論文は lbPINNs を紹介する。自己適応的で損失バランスを取る物理情報神経ネットワークフレームワークで、訓練中に損失項の重みを適応させることで不可圧縮 Navier–Stokes 方程式の解法精度を向上させる。2D の Kovasznay 流、2D 円柱後流、3D Beltrami 流において、ベースラインPINNsと比較して優れた結果を示す。

ABSTRACT

There have been several efforts to Physics-informed neural networks (PINNs) in the solution of the incompressible Navier-Stokes fluid. The loss function in PINNs is a weighted sum of multiple terms, including the mismatch in the observed velocity and pressure data, the boundary and initial constraints, as well as the residuals of the Navier-Stokes equations. In this paper, we observe that the weighted combination of competitive multiple loss functions plays a significant role in training PINNs effectively. We establish Gaussian probabilistic models to define the loss terms, where the noise collection describes the weight parameter for each loss term. We propose a self-adaptive loss function method, which automatically assigns the weights of losses by updating the noise parameters in each epoch based on the maximum likelihood estimation. Subsequently, we employ the self-adaptive loss balanced Physics-informed neural networks (lbPINNs) to solve the incompressible Navier-Stokes equations,\hspace{-1pt} including\hspace{-1pt} two-dimensional\hspace{-1pt} steady Kovasznay flow, two-dimensional unsteady cylinder wake, and three-dimensional unsteady Beltrami flow. Our results suggest that the accuracy of PINNs for effectively simulating complex incompressible flows is improved by adaptively appropriate weights in the loss terms. The outstanding adaptability of lbPINNs is not irrelevant to the initialization choice of noise parameters, which illustrates the robustness. The proposed method can also be employed in other problems where PINNs apply besides fluid problems.

研究の動機と目的

• 不可圧 Navier–Stokes 問題における PINN の複数の物理ベース損失項間の訓練バランスを改善する必要性を動機づける。

提案手法

• NS 方程式をPINNフレームワークで残差 f1 および f2 と複数の損失項（PDE、BC、IC、データ）として定式化する。
• 損失項のガウス確率モデル化を導入し、項ごとの観測ノイズパラメータを用いて最大尤度により損失をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 動的でデータ駆動型の損失項ウェイティングは、不可圧 NS 流れに対する PINN の精度を改善できるか。
• RQ2 適応的な損失バランシングは、2D および 3D の流れ問題全体で収束性とロバスト性にどのように影響するか。
• RQ3 初期ノイズ設定が lbPINNs の性能とロバスト性に与える影響はどの程度か。
• RQ4 lbPINNs は代表的な層流および非定常 NS ケースでベースライン PINNs より低エラーを達成できるか。

主な発見

• lbPINNs は tested ケースでベースライン PINNs より速度場と圧力の相対誤差を大幅に低減しうる（いくつかの設定で 1e-4 〜 1e-5 にまで低減）。
• 適応的なノイズパラメータが訓練中に PDE と境界/データ損失のバランスを取り、収束を加速する。
• lbPINNs は異なる初期ノイズ設定に対してロバストで、 tested flow 全体でベースライン PINNs より精度を改善し続ける。
• 2D の Kovasznay 流で、lbPINNs は 似た条件下で baseline PINNs の 4.4e-3 に対して L2 誤差が約 6.4e-4 に到達。
• lbPINNs は 2D 円柱後流と 3D Beltrami 流のデモンストレーションで速度と圧力の精度が優れており、PDE とデータ損失が適応的なノイズとともに収束。
• この手法は損失重み付けの妥当なアプローチを提供し、流体力学以外の他のPINN応用にも拡張可能。