[论文解读] Averting A Crisis In Simulation-Based Inference
该论文指出，当前基于贝叶斯的模拟推断算法——包括SNPE、NRE、SNL以及ABC变体——会产生过度自信的后验近似，从而损害科学参数证伪的可靠性。论文主张采用更为保守的推断方法，并证明集合方法能持续提供更可靠的结论，呼吁研究方向转向理论坚实、鲁棒的算法。
We present extensive empirical evidence showing that current Bayesian simulation-based inference algorithms are inadequate for the falsificationist methodology of scientific inquiry. Our results collected through months of experimental computations show that all benchmarked algorithms -- (S)NPE, (S)NRE, SNL and variants of ABC -- may produce overconfident posterior approximations, which makes them demonstrably unreliable and dangerous if one's scientific goal is to constrain parameters of interest. We believe that failing to address this issue will lead to a well-founded trust crisis in simulation-based inference. For this reason, we argue that research efforts should now consider theoretical and methodological developments of conservative approximate inference algorithms and present research directions towards this objective. In this regard, we show empirical evidence that ensembles are consistently more reliable.
研究动机与目标
- 揭示现有贝叶斯模拟推断算法在证伪主义科学探究背景下的不可靠性。
- 证明当前方法如SNPE、NRE、SNL和ABC会产生过度自信的后验近似，存在科学误读风险。
- 论证若不解决此问题，将导致模拟推断领域内可信度危机的合理发生。
- 倡导开展保守的、理论基础坚实的近似推断算法研究，作为方法论上的必要转变。
- 通过实证验证，证明基于集合的方法在后验近似可靠性方面始终表现更优。
提出的方法
- 在多个基准模拟推断算法上进行广泛的经验评估，包括(S)NPE、(S)NRE、SNL以及ABC变体。
- 历时数月系统性计算，以收集关于后验校准和过度自信的稳健证据。
- 采用集合方法通过模型平均或多样性提升后验近似的可靠性。
- 在证伪主义方法论下评估推断可靠性，强调参数约束的准确性。
- 比较不同算法的后验可信区间，以检测过度自信现象。
- 应用统计诊断方法评估近似后验的校准性和可靠性。
实验结果
研究问题
- RQ1当前模拟推断算法在多大程度上会产生过度自信的后验近似？
- RQ2SNPE、NRE、SNL和ABC等不同算法的后验近似可靠性如何变化？
- RQ3集合方法能否缓解过度自信并提升模拟推断的可靠性？
- RQ4过度自信的后验对科学探究中的证伪主义方法论有何影响？
- RQ5为确保可信的模拟推断，需要哪些理论和方法论上的转变？
主要发现
- 所有基准测试的模拟推断算法——包括SNPE、NRE、SNL和ABC变体——均产生过度自信的后验近似，损害科学可靠性。
- 过度自信问题普遍存在且具有系统性，表明当前模拟推断算法方法存在根本性缺陷。
- 集合方法相较于单一模型，始终能提供更可靠的后验近似，提示出实现更鲁棒推断的可行路径。
- 研究结果表明，若依赖当前标准算法，科学参数估计存在极高误读风险。
- 本文确立当前模拟推断状态因校准不足，无法满足证伪主义科学探究的需求。
- 若不解决过度自信问题，模拟推断领域将不可避免地引发可信度危机。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。