[论文解读] Improved information criteria for Bayesian model averaging in lattice field theory

Ethan T. Neil, Jacob W. Sitison|arXiv (Cornell University)|Aug 31, 2022

Statistical Methods and Bayesian Inference参考文献 74被引用 5

一句话总结

本文提出了改进的信息准则——BAIC、BPIC 和 PPIC，用于格点场论中的贝叶斯模型平均，这些准则基于 Kullback-Leibler 散度推导，以更准确地估计模型权重。PPIC 在理论性质和噪声数据下的表现尤为优越，而 BAIC 则提供了一种可靠且简便的替代方案，增强了对格点 QCD 数据模型平均分析中不确定性量化的可靠性。

ABSTRACT

Bayesian model averaging is a practical method for dealing with uncertainty due to model specification. Use of this technique requires the estimation of model probability weights. In this work, we revisit the derivation of estimators for these model weights. Use of the Kullback-Leibler divergence as a starting point leads naturally to a number of alternative information criteria suitable for Bayesian model weight estimation. We explore three such criteria, known to the statistics literature before, in detail: a Bayesian analogue of the Akaike information criterion which we call the BAIC, the Bayesian predictive information criterion (BPIC), and the posterior predictive information criterion (PPIC). We compare the use of these information criteria in numerical analysis problems common in lattice field theory calculations. We find that the PPIC has the most appealing theoretical properties and can give the best performance in terms of model-averaging uncertainty, particularly in the presence of noisy data, while the BAIC is a simple and reliable alternative.

研究动机与目标

• 解决格点场论中的模型不确定性问题，其中函数形式（例如无限指数塔）不稳定且需要截断。
• 通过从 Kullback-Leibler 散度推导信息准则，改进贝叶斯模型平均中模型权重的估计。
• 在数值格点物理问题中评估三种信息准则——BAIC、BPIC 和 PPIC 的性能。
• 证明 PPIC 相较于其他准则具有更优的理论性质和对噪声的鲁棒性，而 BAIC 可作为可靠的备用方案。
• 为格点 QCD 中的模型平均提供实用指导，主张使用均匀先验，并警惕在平均中包含无效数据。

提出的方法

• 从 Kullback-Leibler 散度推导信息准则，采用插补法、后验平均法和后验预测形式。
• 将准则特化至最小二乘回归，使其适用于常见的格点数据拟合问题。
• 使用 Laplace 方法近似边缘似然，并推导信息准则的渐近形式。
• 通过多项式、指数和格点 QCD 核心函数模型的数值测试，比较模型平均的性能。
• 利用合成数据和真实格点数据（包括核子两点函数）评估模型平均估计中的偏差和不确定性。
• 评估数据子集选择和模型先验对性能的影响，主张使用均匀先验以减少主观性。

实验结果

研究问题

• RQ1 在格点场论中，不同信息准则——BAIC、BPIC 和 PPIC——在估计贝叶斯模型平均中模型权重时表现如何？
• RQ2 哪种信息准则在噪声数据条件下展现出最有利的理论性质和鲁棒性？
• RQ3 与模型选择或其他基于信息准则的平均方法相比，使用 PPIC 的模型平均在多大程度上减少了不确定性？
• RQ4 在格点应用中，模型先验的选择如何影响模型平均估计的偏差和可靠性？
• RQ5 基于 Kullback-Leibler 散度推导的信息准则能否为处理格点模拟中的模型和数据截断问题提供一个原则性且实用的框架？

主要发现

• 后验预测信息准则（PPIC）展现出最有利的理论性质，并在模型平均不确定性估计中表现最为稳健，尤其是在噪声数据条件下。
• 贝叶斯 AIC（BAIC）是一种简单且可靠的替代方案，具有良好的有限样本性能和极低的计算开销。
• 使用 PPIC 进行模型平均可使整体不确定性小于基于模型差异的保守系统误差估计，且不会引入渐近偏差。
• 建议使用均匀模型先验以最小化主观性；当存在理论约束或模型族冗余时，应调整模型先验。
• 数据子集选择和模型截断可自然地融入贝叶斯模型平均框架，PPIC 在此类系统性效应下表现出强韧性。
• 本文警告指出，无论使用何种信息准则，若在平均中包含无效数据（例如失败的拟合、信噪比差的数据），都将使统计估计失效。