[論文レビュー] Physics-informed Neural Networks with Unknown Measurement Noise

Philipp Pilar, Niklas Wahlström|arXiv (Cornell University)|Nov 28, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、未知の非ガウス型測定ノイズ分布を学習できるエネルギーベースモデル（EBM）を統合した物理情報付きニューラルネットワークフレームワーク、PINN-EBMを提案する。この手法により、非理想なデータ条件下でもPDEの解法とパラメータ同定がロバストに可能となり、ノイズが非ガウス型または非ゼロ平均を示す場合に標準PINNよりも顕著に優れた精度とノイズ分布回復性能を発揮する。

ABSTRACT

Physics-informed neural networks (PINNs) constitute a flexible approach to both finding solutions and identifying parameters of partial differential equations. Most works on the topic assume noiseless data, or data contaminated with weak Gaussian noise. We show that the standard PINN framework breaks down in case of non-Gaussian noise. We give a way of resolving this fundamental issue and we propose to jointly train an energy-based model (EBM) to learn the correct noise distribution. We illustrate the improved performance of our approach using multiple examples.

研究の動機と目的

• 非ガウス型または非ゼロ平均の測定ノイズを伴うデータで学習された標準PINNの失敗を解消すること。
• 非ガウス型ノイズ下で最小二乗損失がもたらすバイアスパラメータ推定と一般化性能の劣化を克服すること。
• 測定ノイズの確率密度関数（PDF）をノイズ付き観測値と予測値の残差から直接学習可能な、PDE解、パラメータ、真のノイズPDFを同時に学習する共同訓練フレームワークの開発。
• 測定ノイズが複雑で非対称的、または系統的バイアスを含むような実世界の状況におけるシステム同定を可能にすること。
• 予測性能の向上に加え、データ収集プロセスにおける従来検出されなかった系統的誤差を明らかにできる手法の提供。

提案手法

• PINNフレームワークにエネルギーベースモデル（EBM）を統合し、予測値とノイズ付き観測値の間の残差から未知の測定ノイズ分布を直接モデル化する。
• EBMを用いて測定残差の尤度を推定し、標準PINNにおける最小二乗損失をよりロバストな尤度ベース損失に置き換える。
• PDE残差損失とEBMに基づくデータ尤度損失を組み合わせた総損失関数を用いて、PINNとEBMをバックプロパゲーションにより共同で最適化する。
• 総損失関数を、物理情報付きPDE損失とEBMで学習されたノイズ分布下での測定値の負の対数尤度（NLL）の重み付き和として定式化する。
• EBMが重い尾、非対称性、または多重モードといった複雑なノイズ特性を捉えることができ、複数のセンサーのバイアスを含む状況にも適応可能である。
• PDE損失とデータ損失の間の重みハイパーパrameter（ω）を、検証データを用いて調整し、最適化のバランスを保つ。

実験結果

リサーチクエスチョン

• RQ1 測定ノイズが非ガウス型である場合、標準PINNはPDEパラメータを信頼性を持って同定できるか？
• RQ2 ノイズが非ガウス型である場合、標準PINNの性能はガウス型ノイズと比較してどの程度劣化するのか？その原因は何か？
• RQ3 未知で非ガウス型のノイズ下において、エネルギーベースモデル（EBM）は残差から真のノイズ分布を効果的に学習できるか？
• RQ4 PINNとEBMを共同で訓練することで、標準PINNや固定ノイズ仮定を用いたPINNと比較して、パラメータ推定と解の精度が向上するか？
• RQ5 EBM部は、統合されたセンサー読み出しなどに起因する複数のノイズ源や系統的バイアスを検出できるか？

主な発見

• 標準PINNフレームワークは、非ガウス型ノイズ、特に非ゼロ平均または重い尾を持つノイズ下で失敗する。これは最小二乗損失の使用に起因する。
• ナビエ-ストークス方程式のケースにおいて、PINN-EBMは標準PINNおよびPINN-offよりも顕著に優れたパラメータ回復性能を示し、100|Δλ₁|の誤差を23.10から1.19に約20倍改善した。
• 3Gノイズを伴うナビエ-ストークスのケースでは、PINN-EBMのRMSEは0.06に達し、標準PINNの0.20と比較して優れた解の精度を示した。
• 検証データにおけるNLLはPINN-EBMで-0.03、標準PINNで0.40であったため、EBMがより正確なノイズモデルを学習していることが示された。
• 本手法は、真の多重モーダルノイズ分布（例：2ピークのガウス・ミックスチャネル）を、故障したセンサーに起因するバイアス成分を含めて正確に学習できた。
• EBM部により、従来検出されなかった系統的誤差（例：ノイズPDFに二重ピークが現れるなど）を検出可能となった。