[论文解读] Bayesian vs Frequentist: Comparing Bayesian model selection with a frequentist approach using the iterative smoothing method

Hanwool Koo, Ryan E. Keeley+2 more|arXiv (Cornell University)|Oct 21, 2021

Gamma-ray bursts and supernovae参考文献 37被引用 10

一句话总结

本文提出了一种基于迭代平滑的频率学模型选择方法，用于评估Ia型超新星数据中模型的一致性，而无需依赖贝叶斯证据。通过分析从平滑似然中获得的$ Delta\chi^2$分布，该方法能够证伪单个模型——即使所有候选模型均错误——其表现优于始终选择最不错误模型的贝叶斯方法。在79.3%的模拟罗曼空间望远镜数据集中，$ Lambda$CDM和PEDE模型均在99%置信水平下被排除，而贝叶斯方法从未排除最佳拟合的错误模型。

ABSTRACT

We have developed a frequentist approach for model selection which determines the consistency between any cosmological model and the data using the distribution of likelihoods from the iterative smoothing method. Using this approach, we have shown how confidently we can conclude whether the data support any given model without comparison to a different one. In this current work, we compare our approach with the conventional Bayesian approach based on the estimation of the Bayesian evidence using nested sampling. We use simulated future Roman (formerly WFIRST)-like type Ia supernovae data in our analysis. We discuss the limits of the Bayesian approach for model selection and show how our proposed frequentist approach can perform better in the falsification of individual models. Namely, if the true model is among the candidates being tested in the Bayesian approach, that approach can select the correct model. If all of the options are false, then the Bayesian approach will select merely the least incorrect one. Our approach is designed for such a case and we can conclude that all of the models are false.

研究动机与目标

• 为解决贝叶斯模型选择在所有候选模型均错误时无法证伪错误模型的局限性。
• 开发一种模型无关的频率学方法，独立于其他模型评估每个宇宙学模型与数据的一致性。
• 证明迭代平滑方法可在不知晓真实模型的情况下实现对模型的绝对证伪。
• 预测未来罗曼空间望远镜Ia型超新星数据在区分和排除错误模型方面的统计能力。

提出的方法

• 使用迭代平滑方法从Ia型超新星数据非参数化、模型无关地重建距离模数。
• 计算$\Delta\chi^2 = \chi^2_{\text{smooth}} - \chi^2_{\text{best-fit}}$以量化平滑带来的过拟合，形成似然分布。
• 利用$\Delta\chi^2$的分布定义模型一致性的95%和99%置信区间。
• 将这些区间应用于检验给定模型（如$ Lambda$CDM或PEDE）是否与数据一致，且独立于其他模型。
• 与基于嵌套采样和Kass-Raftery尺度的贝叶斯证据进行比较。
• 基于基准TDE模型生成1000个模拟罗曼空间望远镜Ia型超新星数据实现，以评估统计性能。

实验结果

研究问题

• RQ1 基于迭代平滑的频率学方法是否能在所有候选模型均错误时证伪单个宇宙学模型？
• RQ2 该频率学方法在排除错误模型方面的表现与贝叶斯证据相比如何？
• RQ3 未来罗曼空间望远镜Ia型超新星数据在多大程度上能区分$ Lambda$CDM与PEDE等替代暗能量模型？
• RQ4 迭代平滑方法是否能提供无需模型比较的模型无关置信区间以评估模型一致性？
• RQ5 当真实模型不在候选模型中时，频率学方法是否避免了选择最不错误模型的偏差？

主要发现

• 在1000个模拟罗曼数据集中，79.3%的样本中，$ Lambda$CDM和PEDE模型均通过频率学迭代平滑方法在99%置信水平下被排除。
• 在91.6%的数据集中，两个模型均在95%置信水平下被排除，显示出强大的证伪错误模型的能力。
• 贝叶斯证据方法在1000次实现中从未排除$ Lambda$CDM，即使真实模型是另一种TDE模型。
• 频率学方法在99%置信水平下正确识别出$ Lambda$CDM比PEDE更一致的情况占19.3%，在95%置信水平下占8.2%，与数据生成模型一致。
• 在任何情况下，频率学方法均未出现排除$ Lambda$CDM而接受PEDE的情况，证实了其在模型证伪中的稳健性。
• 贝叶斯方法始终以$ Delta\log Z \geq 2$（正向至强证据）偏好$ Lambda$CDM而非PEDE，但当$ Lambda$CDM并非真实模型时，无法将其视为错误模型而排除。