[論文レビュー] Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery of Nonlinear Partial Differential Operators from Data

Stephanie A. Atkinson|arXiv (Cornell University)|Jun 7, 2020

Gaussian Processes and Bayesian Inference被引用数 10

ひとこと要約

この論文は、ニューラルネットワークとガウス過程を用いてデータから非線形偏微分作用素を学習する確率的フレームワーク、ベイジアン隠れ物理モデル（BHPM）を導入する。これにより、物理的発見における不確実性の定量化が可能になる。複数の実験データセットを統合し、ベイジアン推論によってエピステミック不確実性を伝搬させることで、作用素および解の事後分布が得られ、新しい初期境界値問題（IBVP）の予測における信頼性が著しく向上する。

ABSTRACT

What do data tell us about physics-and what don't they tell us? There has been a surge of interest in using machine learning models to discover governing physical laws such as differential equations from data, but current methods lack uncertainty quantification to communicate their credibility. This work addresses this shortcoming from a Bayesian perspective. We introduce a novel model comprising "leaf" modules that learn to represent distinct experiments' spatiotemporal functional data as neural networks and a single "root" module that expresses a nonparametric distribution over their governing nonlinear differential operator as a Gaussian process. Automatic differentiation is used to compute the required partial derivatives from the leaf functions as inputs to the root. Our approach quantifies the reliability of the learned physics in terms of a posterior distribution over operators and propagates this uncertainty to solutions of novel initial-boundary value problem instances. Numerical experiments demonstrate the method on several nonlinear PDEs.

研究の動機と目的

• データ駆動型微分方程式発見における不確実性定量化（UQ）の欠如に対処すること。
• 有限なデータによる学習された微分作用素のエピステミック不確実性を定量化するベイジアンフレームワークの構築。
• 推定された作用素からの不確実性を、新しい初期境界値問題（IBVP）の予測へと伝搬させること。
• 確率的推論を用いて、物理的発見における外挿の信頼性と信頼性の評価を可能にすること。
• 複数の実験データセットを統合し、基礎となるPDE作用素の統一的で不確実性を考慮したモデルを構築すること。

提案手法

• 各実験で異なるIBVPの解を捉えるために、スパティオトロピカルデータを表す「リーフ」ニューラルネットワークを用いる。
• 自動微分を用いてリーフ関数の空間的および時間的微分を計算し、これをルートモデルの入力として使用する。
• 未知の非線形微分作用素をガウス過程（GP）としてモデル化することで、作用素上の非パrametric推論が可能になる。
• GPに対してベイジアン推論を実施し、微分作用素上の事後分布を取得することで、不確実性を定量化する。
• 作用素の不確実性を新しいIBVPの解へと伝搬させ、単一の決定論的予測ではなく、解の分布が得られる。
• ニューラルネットワーク部の学習には、Adamを用いた確率的最適化とコサインスケジューリングを用いた学習率のアニーリングを採用する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型非線形PDE発見手法は、その予測に対して信頼できる不確実性推定を提供できるか？
• RQ2 学習された微分作用素におけるエピステミック不確実性は、どのように定量化され、新しい初期境界値問題の解へと伝搬されるか？
• RQ3 ベイジアンアプローチは、限られたノイズの多いデータからの物理的発見の信頼性と信頼性をどの程度向上できるか？
• RQ4 複数の実験データセットを統合することで、学習された作用素のロバストネスと一般化性能はどの程度向上するか？
• RQ5 作用素における不確実性定量化は、新しいIBVPにおける一般化性能の向上および故障モードの検出に寄与するか？

主な発見

• ベイジアン隠れ物理モデルは、ガウス過程の事前分布を用いて、学習された微分作用素における不確実性を的確に定量化し、作用素上の事後分布を提供する。
• 本手法により、新しいIBVPの解への不確実性伝搬が可能となり、単一の点推定ではなく、解の予測分布が得られる。
• バーガー方程式およびKdV方程式に対する数値実験では、RMSEがPINNsと同等の低さを示す一方で、組み込みの不確実性定量化機能を有する。
• 不確実性推定値は適切にキャリブレーションされており、入力空間カバレッジ図から、訓練データが密集している領域では真の解が信頼区間内に含まれていることが示された。
• 本手法は、データカバレッジが薄い領域では低信頼度の予測を明示的に示すため、決定的手法に比べ信頼性が高く、静黙的障害のリスクが低減される。
• ノイズの多いデータに対してもロバストであり、未観測の初期条件および境界条件に対しても適切に一般化し、外挿領域では不確実性が適切に増大することが確認された。