[论文解读] Calibrating Model-Based Inferences and Decisions

Michael Betancourt|arXiv (Cornell University)|Mar 22, 2018

Markov Chains and Monte Carlo Methods参考文献 1被引用 22

一句话总结

本文提出了一套形式化框架，用于使用频次学派和贝叶斯方法对基于模型的统计推断与决策进行校准，强调敏感性分析与基于损失的校准。它展示了如何系统性地评估不同模型配置下的不确定性与决策可靠性，适用于复杂实验中的发现声明与极限设定。

ABSTRACT

As the frontiers of applied statistics progress through increasingly complex experiments we must exploit increasingly sophisticated inferential models to analyze the observations we make. In order to avoid misleading or outright erroneous inferences we then have to be increasingly diligent in scrutinizing the consequences of those modeling assumptions. Fortunately model-based methods of statistical inference naturally define procedures for quantifying the scope of inferential outcomes and calibrating corresponding decision making processes. In this paper I review the construction and implementation of the particular procedures that arise within frequentist and Bayesian methodologies.

研究动机与目标

• 为应对日益复杂的统计模型在先进实验中带来的可靠推断挑战。
• 形式化量化推断结果对模型假设与测量变异性敏感性的程序。
• 开发实用的校准方法，将统计模型与不确定性下的决策制定相联系，尤其在高风险科学情境中。
• 通过提供计算上可行的校准技术，弥合理论上的基于模型推断与实际实验设计之间的差距。
• 通过严格评估p值、后验概率与预测评分的可靠性，实现稳健的发现声明与极限设定。

提出的方法

• 使用数学形式化定义数据生成过程为测量空间上的概率分布，将观测值建模为来自真实过程 $\pi^*$ 的样本。
• 应用损失函数量化推断后果，其中频次学派校准基于模型配置空间内所有数据生成过程的期望损失。
• 通过模型参数与数据的联合分布下损失函数的后验期望实现贝叶斯校准，纳入先验不确定性。
• 引入预测评分与实际等价区域（ROPE）的后验概率，以评估模型表现与实际显著性。
• 利用蒙特卡洛与马尔可夫链蒙特卡洛方法，在高维空间中对期望损失与后部分布进行数值计算。
• 提出使用自动微分估计期望损失相对于实验设计参数的梯度，从而实现实验设置的优化。

实验结果

研究问题

• RQ1 在复杂实验中，如何系统性地校准推断结果，以反映不同模型配置下的不确定性？
• RQ2 在敏感性与决策可靠性方面，频次学派与贝叶斯方法在模型校准中的关键差异与权衡是什么？
• RQ3 当解析解不可行时，特别是在高维模型中，校准程序如何在实践中实现？
• RQ4 损失函数与预测评分在评估发现声明与极限设定程序的稳健性方面发挥什么作用？
• RQ5 能否利用MCMC与自动微分等计算方法，基于校准后的性能指标优化实验设计？

主要发现

• 频次学派校准需要对模型配置空间内所有数据生成过程的期望损失进行有界处理，仅在对模型配置空间作简化假设时才具有解析可解性。
• 贝叶斯校准涉及损失函数后验期望的计算，通常更易于数值近似，但对复杂模型而言仍计算密集。
• 在贝叶斯极限设定中使用后验分位数可自然地纳入冗余参数的不确定性，为现象学参数提供稳健的边界。
• 预测评分与ROPE概率为评估发现情境下的实际显著性与模型表现提供了p值的实用替代方案。
• 蒙特卡洛方法可实现稀有事件阈值（如 $\mathcal{O}(10^{-7})$）的校准，但收敛速度慢，限制了极端显著性水平下的准确性。
• 对期望损失相对于实验设计参数的自动微分提供了一条通往实验设置优化的有希望路径，尽管实现仍具挑战性。