[論文レビュー] Correcting model misspecification in physics-informed neural networks (PINNs)

Zongren Zou, Xuhui Meng+1 more|arXiv (Cornell University)|Oct 16, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、誤った物理的モデルとノイズ混じりまたはスパarsな観測データの間の乖離を学習する追加のディープニューラルネットワーク（DNN）を導入することで、物理的制約付きニューラルネットワーク（PINNs）におけるモデル不適合の是正手法を提案する。この手法は、物理的理解が不完全な複雑な系において予測精度を向上させるとともに、B-PINNs やアンサンブルPINNsを用いた不確実性の定量化を統合し、反応拡散系および非ニュートン流体の問題において顕著な誤差低減を示している。

ABSTRACT

Data-driven discovery of governing equations in computational science has emerged as a new paradigm for obtaining accurate physical models and as a possible alternative to theoretical derivations. The recently developed physics-informed neural networks (PINNs) have also been employed to learn governing equations given data across diverse scientific disciplines. Despite the effectiveness of PINNs for discovering governing equations, the physical models encoded in PINNs may be misspecified in complex systems as some of the physical processes may not be fully understood, leading to the poor accuracy of PINN predictions. In this work, we present a general approach to correct the misspecified physical models in PINNs for discovering governing equations, given some sparse and/or noisy data. Specifically, we first encode the assumed physical models, which may be misspecified, then employ other deep neural networks (DNNs) to model the discrepancy between the imperfect models and the observational data. Due to the expressivity of DNNs, the proposed method is capable of reducing the computational errors caused by the model misspecification and thus enables the applications of PINNs in complex systems where the physical processes are not exactly known. Furthermore, we utilize the Bayesian PINNs (B-PINNs) and/or ensemble PINNs to quantify uncertainties arising from noisy and/or gappy data in the discovered governing equations. A series of numerical examples including non-Newtonian channel and cavity flows demonstrate that the added DNNs are capable of correcting the model misspecification in PINNs and thus reduce the discrepancy between the physical models and the observational data. We envision that the proposed approach will extend the applications of PINNs for discovering governing equations in problems where the physico-chemical or biological processes are not well understood.

研究の動機と目的

• 物理的過程が完全に理解されていない状況におけるPINNsにおけるモデル不適合の課題に対処すること。
• 補助的なDNNを用いて不完全な物理的モデルと観測データの乖離を学習することで、PINNsの予測精度を向上させること。
• 観測データにノイズや欠損がある場合に生じる不確実性を、得られた支配方程式の文脈で定量化すること。
• 記号的回帰と組み合わせることで、明示的な支配方程式の同定を可能とすること。
• 物理的・化学的または生物学的過程が完全に把握されていない複雑な系へのPINNsの適用範囲を拡大すること。

提案手法

• 自動微分を用いて、仮定された不適切な物理的モデルをPINNsに埋め込む。
• 不完全なモデルと観測データの間の乖離をモデル化する追加のDNNを導入する。
• モデル不適合によって生じる誤差を是正するために、PINNと乖離DNNを併用して訓練する。
• ノイズ混じりまたは不完全なデータによる予測の不確実性を、ベイジアンPINNs（B-PINNs）またはアンサンブルPINNsを用いて定量化する。
• 訓練済みモデルと記号的回帰を組み合わせることで、明示的な支配方程式を抽出する。
• 反応拡散系および非ニュートン流体に、意図的に不適切なモデルが適用された状況に、フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 基礎的な物理的モデルが不完全または不正確な場合に、深層ニューラルネットワークがPINNsにおけるモデル不適合を効果的に是正できるか。
• RQ2 乖離DNNを組み込むことで、既知のモデル誤差を有する系におけるPINNの予測精度がどの程度向上するか。
• RQ3 B-PINNs やアンサンブルPINNsが、ノイズ混じりまたは欠損のあるデータ下で、同定された物理的モデルの不確実性をどの程度信頼性を持って定量化できるか。
• RQ4 提案手法が記号的回帰と円滑に統合可能であり、解釈可能な支配方程式を導出できるか。
• RQ5 物理的モデルが誤って指定された非ニュートン流体のような複雑な物理系において、本手法がロバスト性と精度を維持できるか。

主な発見

• 非ニュートンキャビティ流れのケースにおいて、速度予測の相対L2誤差が7.79%から1.33%、11.28%から2.29%に低下した。
• 力成分（fxおよびfy）の誤差は、それぞれ3.9153×10⁻⁴および3.1466×10⁻⁴から7.8389×10⁻⁷および8.2283×10⁻⁷に低下し、顕著な改善が確認された。
• 乖離DNNは、モデルに含まれない物理的現象を効果的に捉え、初期の物理的モデルが不適切であっても正確な予測を可能にした。
• B-PINNsおよびアンサンブルPINNsは、データのノイズや欠損によるモデルの不確実性を反映した妥当な不確実性の境界を提供した。
• 訓練後、記号的回帰を用いて明示的な支配方程式を効果的に抽出でき、解釈性が向上した。
• 反応拡散系および非ニュートン流体を含む多様な系において、本手法は物理的モデルが意図的に不適切に指定された状況でも、優れた性能を示した。