[论文解读] Multilevel Bayesian Parameter Estimation in the Presence of Model Inadequacy and Data Uncertainty

Amir Shahmoradi|arXiv (Cornell University)|Nov 28, 2017

Gaussian Processes and Bayesian Inference参考文献 49被引用 5

一句话总结

本文提出了一种分层贝叶斯框架，用于在科学推断中联合量化模型不足与数据不确定性。通过在多层后验分布中整合物理模型、统计不足模型和测量噪声模型，该方法即使在模型不完善且数据存在噪声的情况下，也能实现稳健的参数估计，其关键贡献在于提出了一种统一的似然函数形式，该形式对所有与数据和模型限制一致的可能真实状态进行边缘化处理。

ABSTRACT

Model inadequacy and measurement uncertainty are two of the most confounding aspects of inference and prediction in quantitative sciences. The process of scientific inference (the inverse problem) and prediction (the forward problem) involve multiple steps of data analysis, hypothesis formation, model construction, parameter estimation, model validation, and finally, the prediction of the quantity of interest. This article seeks to clarify the concepts of model inadequacy and bias, measurement uncertainty, and the two traditional classes of uncertainty: aleatoric versus epistemic, as well as their relationships with each other in the process of scientific inference. Starting from basic principles of probability, we build and explain a hierarchical Bayesian framework to quantitatively deal with model inadequacy and noise in data. The methodology can be readily applied to many common inference and prediction problems in science, engineering, and statistics.

研究动机与目标

• 解决科学推断中模型不足与数据不确定性的问题，这些问题通常被分别处理或被忽略。
• 厘清随机性不确定性（不可减少）与认知性不确定性（可减少）之间的区别，并阐明其与模型不足的相互作用。
• 提出一种基于原则的贝叶斯方法，将模型不足视为统计现象而非确定性误差。
• 构建一种似然函数，通过在所有可能的真实状态实现上进行边缘化，同时考虑测量噪声与模型缺陷。
• 通过多层后验分布，实现在模型偏差与观测不确定性并存情况下的可靠参数估计与预测。

提出的方法

• 将真实状态（R）形式化为一个未观测到的随机变量，与观测数据（D）相区分，以实现模型误差与测量误差的分离。
• 引入分层结构，其中似然函数定义在真实状态（R*）的可能实现之上，并在全采样空间 ΩR* 上进行边缘化。
• 构建一种似然函数，结合物理模型（M_phys）、用于模型偏差的不足模型（M_inad）以及用于测量误差的噪声模型（M_nois）。
• 通过将贝叶斯规则应用于分层似然函数，推导出物理模型与不足模型参数（θ_pi）的联合后验分布。
• 使用方程（67）中的联合后验分布执行多层推断：π(θ_pi | D, Θ_nois, M_nois, M_pi, IR, I_θ_pi) ∝ ∫ π(D|R*, θ_nois,i, M_nois,i) π(R*|IR_i) π(R*|θ_pi, M_pi) dR* × π(θ_pi|M_pi, I_θ_pi)。
• 通过在参数空间与真实状态空间上计算证据积分，对所有不确定性来源进行建模，确保归一化。

实验结果

研究问题

• RQ1 在贝叶斯框架中，如何正式区分并联合量化模型不足与数据不确定性？
• RQ2 当同时存在模型偏差与测量噪声时，正确的似然函数是什么？
• RQ3 后验分布应如何构建，以考虑真实状态不确定性，尤其是在模型不完善且数据存在噪声的情况下？
• RQ4 分层贝叶斯模型能否一致地对所有可能的真实状态实现进行边缘化，同时整合物理模型、不足模型与噪声模型？
• RQ5 关于真实状态的先验知识（IR）与模型参数的先验知识（I_θ_pi）在纠正模型偏差与数据噪声中起什么作用？

主要发现

• 所提出的分层似然函数（方程60）通过在所有可能的真实状态实现 ΩR* 上进行边缘化，正确地考虑了模型不足，无论这些实现是否满足物理模型。
• 后验分布（方程67）提供了一个连贯的贝叶斯推断框架，将物理模型、不足模型与噪声模型整合到单一多层推断过程中。
• 该方法正确区分了测量误差（通过 M_nois 建模）与模型偏差（通过 M_inad 建模）的作用，避免了不确定性来源的混淆。
• 即使物理模型存在系统性偏差，该框架也能实现稳健的参数估计，方法是通过数据学习不足模型。
• 归一化因子（证据）被显式推导为在参数空间与真实状态空间上的双重积分，确保了正确的贝叶斯更新。
• 该方法具有通用性，适用于涉及不完善模型与噪声观测的广泛科学与工程问题。