[論文レビュー] Uncertainty quantification for noisy inputs-outputs in physics-informed neural networks and neural operators

Zongren Zou, Xuhui Meng+1 more|arXiv (Cornell University)|Nov 19, 2023

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本論文は、物理に基づくニューラルネットワーク（PINNs）およびニューラルオペレータ（NOs）のためのベイジアン不確実性評価（UQ）フレームワークを提案する。このフレームワークは、測定誤差モデルを尤度関数に統合することで、ノイズのある入力・出力（例：不確実な空間時間座標や損傷を受けていた入力関数）を考慮し、実世界のセンサーノイズを伴う状況でも正確で不確実性を伴う予測を可能にする。1次元および2次元のPDE問題、および高次元のDarcy流れ問題において、その有効性が実証された。

ABSTRACT

Uncertainty quantification (UQ) in scientific machine learning (SciML) becomes increasingly critical as neural networks (NNs) are being widely adopted in addressing complex problems across various scientific disciplines. Representative SciML models are physics-informed neural networks (PINNs) and neural operators (NOs). While UQ in SciML has been increasingly investigated in recent years, very few works have focused on addressing the uncertainty caused by the noisy inputs, such as spatial-temporal coordinates in PINNs and input functions in NOs. The presence of noise in the inputs of the models can pose significantly more challenges compared to noise in the outputs of the models, primarily due to the inherent nonlinearity of most SciML algorithms. As a result, UQ for noisy inputs becomes a crucial factor for reliable and trustworthy deployment of these models in applications involving physical knowledge. To this end, we introduce a Bayesian approach to quantify uncertainty arising from noisy inputs-outputs in PINNs and NOs. We show that this approach can be seamlessly integrated into PINNs and NOs, when they are employed to encode the physical information. PINNs incorporate physics by including physics-informed terms via automatic differentiation, either in the loss function or the likelihood, and often take as input the spatial-temporal coordinate. Therefore, the present method equips PINNs with the capability to address problems where the observed coordinate is subject to noise. On the other hand, pretrained NOs are also commonly employed as equation-free surrogates in solving differential equations and Bayesian inverse problems, in which they take functions as inputs. The proposed approach enables them to handle noisy measurements for both input and output functions with UQ.

研究の動機と目的

• PINNsにおける空間時間座標やNOsにおける入力関数といった入力がノイズによって損傷を受ける科学的機械学習（SciML）モデルにおける不確実性評価（UQ）の重要なギャップを埋める。
• 非線形性のため、ノイズのある入力はノイズのある出力よりも大きな困難をもたらすという課題を克服する。特に物理に基づく学習において顕著である。
• 粒子画像速度計測（PIV）や水文的モデリングなど、実際のセンサーデータを含む実用的応用におけるPINNsおよび事前学習済みNOsの信頼性ある展開を可能にする。
• 従来、ノイズのある出力のみを対象としていたUQ手法を拡張し、ハイブリッド逆問題および前向き問題において、入力ノイズと出力ノイズの両方からの不確実性を同時にモデル化する。
• 事前学習済みNOsを用いて、疎でノイズが多く欠損のある観測から、物理的場（例：水圧頭や透水係数）を包括的な不確実性評価とともに共同で再構築する協調的再構築を促進する。

提案手法

• 入力と出力の両方のノイズを、既知の分散パラメータを持つゼロ平均のガウス過程を用いて明示的にモデル化するベイジアン推論フレームワークを構築する。
• 測定誤差モデルをPINNsおよびNOsの尤度関数に統合し、物理的解の推定とノイズのある入力からの不確実性伝播を同時に可能にする。
• PINNsにおいて自動微分を用いて物理的制約（例：PDEの残差）を損失関数に組み込みつつ、尤度関数を通じてノイズのある座標を同時に扱う。
• 事前学習済みニューラルオペレータ（FNOsおよびDeepONets）にこのフレームワークを適用し、境界条件や源項などのノイズのある入力関数およびノイズのある出力測定値を不確実性評価とともに処理可能にする。
• 変分推論またはモンテカルロサンプリングを用いてモデルを学習し、解の事後分布を近似することで、エピステミック不確実性とアレアトリック不確実性の両方を捉える。
• 高次元問題（例：Darcy流れ）において、疎でノイズのある観測から入力および出力の両方の場を同時に再構築する協調的学習戦略を用い、不確実性を伴う推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 空間時間座標における入力ノイズが物理に基づくニューラルネットワーク（PINNs）の予測の信頼性に与える影響は何か。また、その影響は効果的に評価可能か？
• RQ2 方程式フリー学習において、境界条件や源項などのノイズのある入力関数およびノイズのある出力測定値に対して、ニューラルオペレータ（NOs）は耐障害性を示せるか？
• RQ3 入力ノイズを無視した場合、実世界のセンサーデータに適用した際のPINNsおよびNOsにおける精度と不確実性推定に与える影響は何か？
• RQ4 ベイジアン推論は、物理に基づくモデルにおいて、入力ノイズと出力ノイズの両方からの不確実性を同時にモデル化するためにどのように拡張可能か？
• RQ5 ノイズのある入力・出力条件下で、PINNsおよび事前学習済みNOsの両方の不確実性評価を可能にする統合フレームワークを開発可能か？

主な発見

• 提案されたベイジアンUQフレームワークは、1次元Poisson方程式およびBurgers方程式において、ノイズのある入力（例：空間時間座標）および出力（例：解の測定値）からの不確実性伝播を効果的に捉え、真の解の周囲に予測された不確実性が収束していることを示した。
• 1次元Burgers方程式の例では、疎でノイズのある入力・出力データから解を再構築し、不確実性の境界が真の解をしっかりと包囲する結果を得ており、測定誤差に対して高い耐障害性を示した。
• 不均一な拡散項を有する時間依存反応拡散方程式において、マルチインプットDeepONetは、ノイズのあるデータから解、源項、拡散係数を正確に再構築でき、不確実性推定値が各場の信頼性を反映していた。
• 120次元のDarcy流れ問題において、1フィールドあたり20件のノイズのある測定値から水圧頭および対数透水係数場を協調的に再構築したが、平均予測は正確であり、不確実性境界は一貫して基準解を包囲していた。
• 入力ノイズを無視する標準的なPINNおよびNOアプローチに比べ、本手法は予測誤差が著しく低く抑えられ、入力ノイズが存在する状況でもより信頼性の高い不確実性区間を示した。
• 本フレームワークは、バニラFNOs、DeepONets、マルチインプットDeepONetsを含むさまざまなアーキテクチャと互換性があり、さまざまなSciMLワークフローへの広範な適用可能性を有する。