[論文レビュー] Multilevel Bayesian Parameter Estimation in the Presence of Model Inadequacy and Data Uncertainty

Amir Shahmoradi|arXiv (Cornell University)|Nov 28, 2017

Gaussian Processes and Bayesian Inference参考文献 49被引用数 5

ひとこと要約

本稿では、科学的推論におけるモデル不適切性とデータ不確実性を統合的に定量化する階層ベイズフレームワークを提案する。物理モデル、統計的不適切性モデル、測定ノイズモデルを多段階の後部確率分布内に統合することで、モデルが不完全でデータがノイズを含んでも、頑健なパラメータ推定が可能となる。主な貢献は、データとモデル制限に整合するすべての可能な真の状態を周辺化する統一された尤度関数の構築にある。

ABSTRACT

Model inadequacy and measurement uncertainty are two of the most confounding aspects of inference and prediction in quantitative sciences. The process of scientific inference (the inverse problem) and prediction (the forward problem) involve multiple steps of data analysis, hypothesis formation, model construction, parameter estimation, model validation, and finally, the prediction of the quantity of interest. This article seeks to clarify the concepts of model inadequacy and bias, measurement uncertainty, and the two traditional classes of uncertainty: aleatoric versus epistemic, as well as their relationships with each other in the process of scientific inference. Starting from basic principles of probability, we build and explain a hierarchical Bayesian framework to quantitatively deal with model inadequacy and noise in data. The methodology can be readily applied to many common inference and prediction problems in science, engineering, and statistics.

研究の動機と目的

• 科学的推論におけるモデル不適切性とデータ不確実性の課題に取り組み、これらがしばしば別個に扱われたり無視されたりするのを防ぐ。
• アンサンブル的（不可削減）不確実性とエピステム的（可削減）不確実性の違いを明確にし、それらがモデル不適切性とどのように作用し合うかを明らかにする。
• モデル不適切性を決定的誤差ではなく統計的現象として扱う、整合的なベイズ的手法を開発する。
• 真の状態のすべての可能な実現を周辺化することで、測定ノイズとモデルの不完全性の両方を考慮した尤度関数を定式化する。
• 多段階の後部分布を通じて、モデルバイアスと観測不確実性の両方が存在する状況でも、信頼性の高いパラメータ推定と予測を可能にする。

提案手法

• 真の状態（R）を観測データ（D）とは別個の未観測の確率変数として形式化し、モデル誤差と測定誤差を明確に分離する。
• 尤度が真の状態（R*）の可能な実現の上に定義され、全サンプリング空間 ΩR* にわたって周辺化される階層的構造を導入する。
• 物理モデル（M_phys）、モデルバイアスのための不適切性モデル（M_inad）、測定誤差のためのノイズモデル（M_nois）を組み合わせた尤度関数を構築する。
• 階層的尤度にベイズの定理を適用することで、物理的および不適切性モデルのパラメータ（θ_pi）の共同後部分布を導出する。
• 式（67）に示される共同後部分布を用いて多段階推論を実行する：π(θ_pi | D, Θ_nois, M_nois, M_pi, IR, I_θ_pi) ∝ ∫ π(D|R*, θ_nois,i, M_nois,i) π(R*|IR_i) π(R*|θ_pi, M_pi) dR* × π(θ_pi|M_pi, I_θ_pi)。
• すべての不確実性源を考慮し、パrameter空間と真の状態空間の両方における証拠積分を計算することで、正規化を保証する。

実験結果

リサーチクエスチョン

• RQ1 モデル不適切性とデータ不確実性は、ベイズフレームワーク内で正式に区別され、同時に定量化可能か？
• RQ2 モデルバイアスと測定ノイズが両方存在する場合、正しい尤度関数は何か？
• RQ3 不完全なモデルとノイズを含む観測データがある状況で、真の状態の不確実性を考慮した後部分布はどのように構造化すべきか？
• RQ4 物理モデル、不適切性モデル、ノイズモデルを組み合わせながら、すべての可能な真の状態の実現を一貫して周辺化できる階層ベイズモデルは構築可能か？
• RQ5 真の状態に関する事前知識（IR）とモデルパラメータに関する事前知識（I_θ_pi）は、モデルバイアスとデータノイズの補正に果たす役割は何か？

主な発見

• 提案された階層的尤度関数（式60）は、真の状態のすべての可能な実現 ΩR* を周辺化することで、物理モデルを満たさない場合でもモデル不適切性を適切に扱う。
• 後部分布（式67）は、物理モデル、不適切性モデル、ノイズモデルを統合した一貫性のあるベイズ推論フレームワークを提供し、単一の多段階推論プロセスとして機能する。
• 測定誤差（M_nois を通じてモデル化）とモデルバイアス（M_inad を通じてモデル化）の役割が正しく分離されており、不確実性源の混同を回避する。
• 物理モデルが系的にバイアスを示しても、データから不適切性モデルを学習することで、頑健なパラメータ推定が可能になる。
• 正規化係数（証拠）は、パrameter空間と真の状態空間の両方における二重積分として明示的に導出されており、適切なベイズ更新を保証する。
• このアプローチは一般性に富み、不完全なモデルとノイズを含む観測を伴う、広範な科学的・工学的問題に適用可能である。