[論文レビュー] Bayesian Calibration of Imperfect Computer Models using Physics-Informed Priors

Michail Spitieris, Ingelin Steinsland|arXiv (Cornell University)|Jan 17, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

この論文は、共分散関数に微分方程式の構造を組み込む物理情報付きガウス過程事前分布を用いて、計算的に効率的な不完全なコンピュータモデルのベイズ補正フレームワークを提案する。物理情報付き事前分布とガウス過程によるモデル不適合度モデリング、およびハミルトニアン・モンテカルロ（HMC）推論を組み合わせることで、モデル不適合や偏ったデータ下でも物理的パラメータと予測を正確に回復可能であり、大規模データにおける計算複雑度をO(N³)からO(N·m²)に削減する。

ABSTRACT

We introduce a computational efficient data-driven framework suitable for quantifying the uncertainty in physical parameters and model formulation of computer models, represented by differential equations. We construct physics-informed priors, which are multi-output GP priors that encode the model's structure in the covariance function. This is extended into a fully Bayesian framework that quantifies the uncertainty of physical parameters and model predictions. Since physical models often are imperfect descriptions of the real process, we allow the model to deviate from the observed data by considering a discrepancy function. For inference, Hamiltonian Monte Carlo is used. Further, approximations for big data are developed that reduce the computational complexity from $\mathcal{O}(N^3)$ to $\mathcal{O}(N\cdot m^2),$ where $m \ll N.$ Our approach is demonstrated in simulation and real data case studies where the physics are described by time-dependent ODEs describe (cardiovascular models) and space-time dependent PDEs (heat equation). In the studies, it is shown that our modelling framework can recover the true parameters of the physical models in cases where 1) the reality is more complex than our modelling choice and 2) the data acquisition process is biased while also producing accurate predictions. Furthermore, it is demonstrated that our approach is computationally faster than traditional Bayesian calibration methods.

研究の動機と目的

• 微分方程式で記述される不完全な物理モデルにおけるパラメータ推定の課題に取り組む。モデル不適合やデータバイアスにより系統的な不一致が生じる状況を想定する。
• 物理的パラメータとモデル予測の両方における不確実性を定量化する完全なベイズフレームワークを構築し、モデル構造に関する事前知識を統合する。
• 微分方程式の構造を共分散関数に直接埋め込むことで、物理的構造を反映した物理情報付きガウス過程事前分布を導入する。
• 全データ点のサブセット（誘導点）を用いた低ランク近似を導入することで、O(N³)からO(N·m²)への計算複雑度の低減を実現し、大規模データへの適用を可能にする。
• 実プロセスがモデルよりも複雑である場合や、データ収集にバイアスがある場合でも、真のパラメータを回復し、正確な予測を行うというフレームワークの頑健性を示す。

提案手法

• 物理モデル（例：ODEまたはPDE）の線形微分作用素から導かれる共分散関数を持つ多出力ガウス過程事前分布を構築し、物理的構造を直接組み込む。
• ハミルトニアン・モンテカルロ（HMC）を用いて物理的パラメータおよび不適合関数の事後分布推論を実施し、高次元パラメータ空間の効率的探索を可能にする。
• 系統的なモデル不適合を、不適合関数に別個のガウス過程事前分布を導入することでモデリングし、観測データから逸脱しつつも物理的整合性を保つ。
• 物理情報付き事前分布をケネディ＝オーヘガン（KOH）フレームワークと統合し、パラメータと不適合の両方の同時推論と不確実性評価を可能にする。
• 誘導点を用いた低ランク近似を導入し、全ガウス過程をデータポイントのサブセットで近似することで、計算複雑度をO(N³)からO(N·m²)に削減する（m ≪ N）。
• 時間依存ODE（例：Windkesselモデル）および空間時間PDE（例：熱方程式）にフレームワークを適用し、空間的・時間的相関を表現するための非定型平方指数カーネルを用いる。

実験結果

リサーチクエスチョン

• RQ1 モデル形式の不確実性が存在する状況下でも、物理情報付き事前分布は、ベイズ補正の精度と効率を向上させるか？
• RQ2 実プロセスが仮定されたモデル構造よりも複雑である場合、このフレームワークは真の物理的パラメータをどれほど正確に回復できるか？
• RQ3 不偏でないまたはノイズの多いデータ下で、不適合関数の導入が予測精度をどの程度向上させるか？
• RQ4 提案された低ランク近似は、大規模データに対して計算コストを削減しつつも、精度を維持できるか？
• RQ5 HMCと不適合モデリングを統合した物理情報付き事前分布の統合は、従来のベイズ補正と比較して、速度と頑健性の面で優れているか？

主な発見

• 実動脈圧動態プロセスがモデル構造よりも複雑である場合でも、Windkesselモデルの真の物理的パラメータを、本手法が正確に回復した。
• 不適合関数の導入により、偏ったデータ収集下でも、Windkesselモデルにおける圧力と血流の予測が正確に得られた。
• 低ランク近似を用いることで、計算複雑度がO(N³)からO(N·m²)に削減され、m ≪ Nの条件下で大規模データへのスケーラビリティが実現した。
• 物理情報付き事前分布は、非情報付き事前分布と比較して、事前分布の情報量を著しく向上させ、収束が速く、事後分布推論の精度も向上した。
• 計算速度の面で従来のベイズ補正を上回りつつ、パラメータ回復と予測精度を維持または向上させた。
• HMCの使用により、パラメータと不適合の同時事後分布からのサンプリングが効率的に行われ、モデルのすべての構成要素における不確実性評価が頑健に保証された。