[论文解读] Introducing doubt in Bayesian model comparison

Glenn D. Starkman, Roberto Trotta+1 more|ArXiv.org|Nov 14, 2008

Bayesian Modeling and Causal Inference参考文献 1被引用 12

一句话总结

本文引入了'怀疑'作为贝叶斯度量，用于在无显式备选模型时评估模型的绝对充分性，通过数据拟合度与模型复杂度量化对模型正确性的不信任程度。通过校准虚假怀疑率参数，该方法可检测最佳拟合模型是否在根本上不充分，从而在宇宙学观测等高维数据中实现模型发现。

ABSTRACT

There are things we know, things we know we don't know, and then there are things we don't know we don't know. In this paper we address the latter two issues in a Bayesian framework, introducing the notion of doubt to quantify the degree of (dis)belief in a model given observational data in the absence of explicit alternative models. We demonstrate how a properly calibrated doubt can lead to model discovery when the true model is unknown.

研究动机与目标

• 填补贝叶斯模型比较中的空白：当无更优备选模型时，缺乏评估最佳拟合模型是否真正充分的绝对度量。
• 开发一种度量，量化对模型正确性的不信任程度，即使其拟合数据良好，通过测量更优模型存在的可能性。
• 为在真实模型未知的情况下提供一种模型发现工具，尤其适用于宇宙学中大规模复杂数据集。
• 校准虚假怀疑率，以确保在因拟合度不足或过度复杂而拒绝模型时具备统计可靠性。
• 通过引入模型空间中的绝对度量，而非依赖相对比较，补充现有的贝叶斯工具（如贝叶斯因子和模型证据）。

提出的方法

• 提出一种新的贝叶斯度量'怀疑'，用于在无显式备选模型时量化对模型正确性的不信任程度。
• 将怀疑定义为贝叶斯证据与校准参数α的函数，其中α控制虚假怀疑率（即错误地将模型判定为不充分的概率）。
• 利用未知真实模型的参考先验校准参数α，确保错误怀疑正确模型的概率保持在指定阈值以下。
• 通过一个简单线性模型示例，展示当真实模型不在已知模型集合中时，怀疑度上升，表明需要对模型进行修正。
• 通过贝叶斯证据定义模型空间距离的概念，以确定未知模型需在多大程度上不同于已知模型时才会触发怀疑。
• 将怀疑与现有工具（如贝叶斯证据和模型复杂度）结合，以区分模型不充分性与不必要的参数化。

实验结果

研究问题

• RQ1 当无显式备选模型时，如何量化对模型正确性的不信任程度？
• RQ2 何种标准可可靠地表明最佳拟合模型在本质上不充分，即使其拟合数据良好？
• RQ3 如何校准虚假怀疑率，以确保在模型拒绝决策中具备统计可靠性？
• RQ4 在真实模型未知的情况下，怀疑如何作为发现工具发挥作用，特别是在宇宙学观测等高维数据中？
• RQ5 怀疑如何补充现有的贝叶斯度量（如贝叶斯因子和模型证据）以评估模型充分性？

主要发现

• 所提出的怀疑度量在真实模型不在已知模型集合中时显著上升，表明当前模型不充分，需进行理论修正。
• 对虚假怀疑率参数α的恰当校准可确保错误拒绝正确模型的概率保持有界，从而提高统计可靠性。
• 怀疑提供了一种模型空间中的绝对度量，补充了贝叶斯因子的相对度量，使即使在无显式备选模型时也能检测到模型不充分性。
• 在简单线性模型示例中，当真实模型不在已知模型集合中时，怀疑度显著上升，证明其在模型发现中的有效性。
• 该方法对先验体积效应具有鲁棒性，因为α的校准已考虑已知模型下先验体积相对于未知模型参考先验的关系。
• 怀疑不检测不必要的模型复杂度；这需要通过证据和贝叶斯复杂度的独立分析来识别，凸显其在模型发现而非模型简化中的特定作用。