[论文解读] Detecting and diagnosing prior and likelihood sensitivity with power-scaling

Noa Kallioinen, Topi Paananen+2 more|arXiv (Cornell University)|Jul 29, 2021

Statistical Methods and Bayesian Inference参考文献 39被引用 10

一句话总结

本文提出了一种计算高效的贝叶斯模型敏感性分析方法，通过先验和似然函数的幂缩放，结合PSIS的重要度抽样，实现快速检测先验-数据冲突和似然非信息性。该方法可无缝集成到现有的MCMC工作流中，并已实现在R包priorsense中，提供仅需极少代码修改的自动化诊断。

ABSTRACT

Determining the sensitivity of the posterior to perturbations of the prior and likelihood is an important part of the Bayesian workflow. We introduce a practical and computationally efficient sensitivity analysis approach using importance sampling to estimate properties of posteriors resulting from power-scaling the prior or likelihood. On this basis, we suggest a diagnostic that can indicate the presence of prior-data conflict or likelihood noninformativity and discuss limitations to this power-scaling approach. The approach can be easily included in Bayesian workflows with minimal effort by the model builder and we present an implementation in our new R package priorsense. We further demonstrate the workflow on case studies of real data using models varying in complexity from simple linear models to Gaussian process models.

研究动机与目标

• 开发一种计算高效的贝叶斯模型敏感性分析方法，对现有工作流的修改最小化。
• 通过先验和似然函数的幂缩放检测先验-数据冲突和似然非信息性。
• 利用基于PSIS的重要度抽样提供自动化诊断，并能自报告估计的可靠性。
• 通过集成到Stan、PyMC等概率编程工具以及brms、rstanarm等高层接口，实现广泛采用。
• 帮助模型构建者识别意外误设的先验，而无需重复模型重新拟合。

提出的方法

• 通过指数α > 0对先验或似然函数进行幂缩放，生成扰动后验分布。
• 使用广义平稳重要度抽样（PSIS）从现有的MCMC抽样中估计后验属性，无需重新拟合。
• 计算基线后验与扰动后验之间累积Jensen-Shannon散度关于α的导数，作为敏感性诊断指标。
• 将该诊断方法应用于检测先验敏感性（如先验-数据冲突）和似然敏感性（如非信息性）。
• 在R包priorsense中实现该方法，以集成到Stan、PyMC、brms、rstanarm和bambi工作流中。
• 使用蒙特卡洛标准误评估敏感性估计中的不确定性。

实验结果

研究问题

• RQ1 如何在基于MCMC的贝叶斯工作流中高效检测先验和似然敏感性？
• RQ2 幂缩放结合PSIS能否提供一种可靠且自动化的诊断方法，用于检测先验-数据冲突和似然非信息性？
• RQ3 与完整模型重新拟合相比，该方法在计算成本上降低了多少？
• RQ4 该方法在真实世界模型（包括复杂的高斯过程模型）中检测意外敏感性模式的能力如何？
• RQ5 该诊断能否可靠地标识出意外误设或过度影响的先验？

主要发现

• 该方法通过幂缩放引起的后验分布变化检测先验-数据冲突和似然非信息性，实用解释的敏感性阈值设定为0.05。
• 在新冠疫情案例研究中，德国、意大利和英国的后验预测中先验敏感性超过0.05，尤其在κ先验上表现明显，表明模型可能存在不稳定性。
• 该方法实现了高度的计算效率，仅用数秒即可基于现有MCMC抽样估计敏感性诊断，避免了昂贵的模型重新拟合。
• 基于PSIS的重要度抽样提供了可靠的估计，并在估计不可靠时自动生成诊断警告，增强了鲁棒性。
• 该方法成功识别出高斯过程模型中τ先验的高度敏感性，提示需要更谨慎地指定该先验。
• 该工作流可无缝集成到现有贝叶斯建模流程中，仅需极少代码修改，且priorsense R包已可立即使用。