[论文解读] Bayesian averaging of computer models with domain discrepancies: a nuclear physics perspective

Vojtech Kejzlar, Léo Neufcourt+2 more|arXiv (Cornell University)|Apr 9, 2019

Nuclear reactor physics and engineering参考文献 51被引用 7

一句话总结

本文提出了一种领域校正贝叶斯模型平均（BMA）框架，适用于研究区域不一致的计算机模型，特别是在核物理领域。通过显式地利用后验似然比和共享数据区域来处理领域差异，该方法降低了预测误差的方差并提高了经验覆盖度，显著提升了核质量预测的准确性与不确定性量化效果。

ABSTRACT

This article studies Bayesian model averaging (BMA) in the context of competing expensive computer models in a typical nuclear physics setup. While it is well known that BMA accounts for the additional uncertainty of the model itself, we show that it also decreases the posterior variance of the prediction errors via an explicit decomposition. We extend BMA to the situation where the competing models are defined on non-identical study regions. Any model's local forecasting difficulty is offset by predictions obtained from the average model, thus extending individual models to the full domain. We illustrate our methodology via pedagogical simulations and applications to forecasting nuclear observables, which exhibit convincing improvements in both the BMA prediction error and empirical coverage probabilities.

研究动机与目标

• 解决在核结构建模中常见的竞争计算机模型定义于非相同领域时的贝叶斯模型平均挑战。
• 开发一种方法，通过引入领域校正的模型平均，将单个模型的预测扩展至完整领域。
• 通过显式建模模型不确定性并降低预测误差的后验方差，改进不确定性量化。
• 在真实与模拟数据上验证该方法在核质量预测中的有效性，显示更高的经验覆盖度与更低的RMSE。

提出的方法

• 将标准贝叶斯模型平均（BMA）扩展至处理定义于不同研究区域的模型，通过引入领域校正的后验混合分布实现。
• 使用后验似然比 $ Q = \frac{p(\tilde{y}^{(-k)}|y^{(k)})p(\tilde{\theta}_k|y^{(k)})}{p(\tilde{y}^{(-k)}|y^{(k)})p(\tilde{\theta}_k|y^{(k)})} $ 对BMA混合中的模型进行加权，确保跨领域的推断一致性。
• 定义一个共享区域 $ D_{\text{shared}} $，使得模型输出可进行比较与合并，从而实现跨模型校准与误差分解。
• 对预测误差使用高斯过程先验，并采用平方指数核，通过伽马先验实现灵活的误差建模与超参数估计。
• 利用条件方差公式将总后验方差分解为模型内与模型间两部分，显式量化模型不确定性。
• 通过MCMC采样实现该方法，并利用RMSE、$ \tilde{r}^2_{\text{BMA}} $ 以及训练集与测试集上的经验覆盖概率评估性能。

实验结果

研究问题

• RQ1 如何将贝叶斯模型平均方法适应于定义于非相同领域的计算机模型，例如核物理中的不同同素体区域？
• RQ2 与标准BMA或单个模型相比，领域校正BMA是否能降低预测误差的后验方差？
• RQ3 所提出的方法在多大程度上改善了核质量外推的经验覆盖概率与预测准确性？
• RQ4 不同同素体区域（如偶数Z、奇数Z，偶数N、奇数N）中，模型后验权重与预测性能如何变化？

主要发现

• 领域校正BMA方法通过模型条件期望的方差显式考虑模型不确定性，从而降低了预测误差的方差。
• 在教学模拟中，领域校正BMA的RMSE（$ \text{RMSE} = 3.28 $）显著低于单个模型（$ \text{RMSE} \text{ 最高为 } 4.69 $）与独立领域BMA（$ \text{RMSE} = 3.28 $），且随着领域重叠 $ D_{\text{shared}} $ 增加，改进效果更显著。
• 对于核质量数据集（AME2016 $\setminus$ AME2003），BMA模型在测试集上的RMSE为0.709 MeV，优于表现最好的单个模型（FRDM-2012，RMSE = 0.808 MeV）。
• 经验覆盖概率在BMA下得到改善，$ \tilde{r}^2_{\text{BMA}} $ 值分别为0.413（训练集）与0.231（测试集），表明其校准效果优于单个模型。
• 该方法通过利用共享数据与领域校正加权，有效将局部模型预测扩展至整个领域，即使模型仅在部分区域有效。
• FRDM-2012与HFB-24等模型的后验权重对奇偶性与区域高度敏感，但BMA稳定了所有配置下的预测并降低了方差。