[論文レビュー] Bayesian Uncertainty Quantification for Differential Equations

Oksana Chkrebtii, David A. Campbell+2 more|arXiv (Cornell University)|Jun 10, 2013

Gaussian Processes and Bayesian Inference参考文献 60被引用数 17

ひとこと要約

この論文は、解析的に扱いにくい微分方程式の解における不確実性を、解の推定を統計的推論問題として扱うことで、完全ベイズフレームワークを提案する。ヒルバート空間におけるガウス測度を用いてシステム状態をモデル化し、反復的サンプリングを適用することで、解空間上の事後測度を生成し、カオス的・悪条件的・非線形なシステムにおける数値的・パrametric・予測的不確実性を確率論的に定量化可能にする。

ABSTRACT

We develop a fully Bayesian inferential framework to quantify uncertainty in models defined by general systems of analytically intractable differential equations. This approach provides a statistical alternative to deterministic numerical integration for estimation of complex dynamic systems, and probabilistically characterises the solution uncertainty introduced when models are chaotic, ill-conditioned, or contain unmodelled functional uncertainty. Viewing solution estimation as an inference problem allows us to quantify numerical uncertainty using the tools of Bayesian function estimation, which may then be propagated through to uncertainty in the model parameters and subsequent predictions. We incorporate regularity assumptions by modelling system states in a Hilbert space with Gaussian measure, and through iterative model-based sampling we obtain a posterior measure on the space of possible solutions, rather than a single deterministic numerical solution that approximately satisfies model dynamics. We prove some useful properties of this probabilistic solution, propose efficient computational implementation, and demonstrate the methodology on a wide range of challenging forward and inverse problems. Finally, we incorporate the approach into a fully Bayesian framework for state and parameter inference from incomplete observations of the states. Our approach is successfully demonstrated on ordinary and partial differential equation models with chaotic dynamics, ill-conditioned mixed boundary value problems, and an example characterising parameter and state uncertainty in a biochemical signalling pathway which incorporates a nonlinear delay-feedback mechanism.

研究の動機と目的

• 複雑な微分方程式の数値的解法において、体系的な不確実性定量化の欠如に取り組むこと。特に、モデルがカオス的・悪条件的・あるいは未モデル化された関数的不確実性を含む場合に有効であるようにすること。
• 数値的統合を決定的アプローチから、不確実性を解のプロセスそのものに組み込む統計的推論アプローチに置き換えること。
• 完全ベイズ的アプローチにより、解の不確実性をパrameter推定および予測分布へと伝播させること。
• 通常微分方程式および偏微分方程式を含む、複雑なダイナミクスを有する前向きおよび逆問題に対して、計算的に実行可能な手法を開発すること。
• 不完全またはノイズの混入した観測から、状態とパrameterの推定を統一された確率的枠組み内で統合すること。

提案手法

• 正則性の仮定と事前知識をエンコードするため、ガウス過程事前分布を用いてヒルバート空間でシステム状態をモデル化する。
• 解の推定をベイズ推論問題として定式化し、関数空間上の事後測度が不確実性を定量化した解を表すようにする。
• 反復的・モデルに基づくサンプリング（例：マルコフ連鎖モンテカルロ法や変分推論）を用いて、解空間上の事後測度を近似する。
• 条件付き確率伝播を用いて、解の事後分布からの不確実性をパrameterと予測に伝播する。
• 状態軌道上で定義された尤度を用いて観測データを統合し、状態とパrameterの同時推定を可能にする。
• 非線形遅延フィードバックを含む、前向き問題（ダイナミクスの予測）および逆問題（データからパrameterの推定）の両方へ適用する。

実験結果

リサーチクエスチョン

• RQ1 解析的に扱いにくい微分方程式の解における数値的不確実性を、統計的枠組みを用いて体系的に定量化する方法は何か？
• RQ2 解の推定にベイズ的アプローチを適用することで、カオス的または悪条件的なシステムにおける不確実性を一貫した確率論的特徴付けが可能か？
• RQ3 完全ベイズ推論パイプラインにおいて、解の不確実性をどのようにパrameter推定および予測分布に伝播させることができるか？
• RQ4 高次元の解空間における微分方程式モデルの事後分布近似を効率的に行うための計算戦略は何か？
• RQ5 このフレームワークは、複雑な力学的システムにおける状態とパrameter推定において、不完全またはノイズ混入観測を効果的に処理できるか？

主な発見

• 提案されたベイズフレームワークは、解関数上の事後測度を効果的に生成し、単一の決定的数値解に代わって、不確実性の完全な確率論的特徴付けを可能にする。
• この手法は、カオス的ダイナミクス、悪条件性、未モデル化された関数形に起因する数値的不確実性を定量化でき、決定的ソルバーでは捉えきれない。
• 解の不確実性が効果的にパrameter推定および予測に伝播され、逆問題における一貫した不確実性定量化が可能になる。
• このアプローチは、カオス的ODE、混合境界条件を伴う悪条件なPDE、非線形遅延フィードバック系を含む、挑戦的な問題に対しても有効であることが実証された。
• 不完全な観測から状態とパrameterの推定を統合可能であり、状態とパrameterの不確実性定量化のための統一的ソリューションを提供する。