[论文解读] Validating Bayesian Inference Algorithms with Simulation-Based Calibration

Sean Talts, Michael Betancourt+3 more|arXiv (Cornell University)|Apr 18, 2018

Gaussian Processes and Bayesian Inference参考文献 26被引用 220

一句话总结

本文提出基于仿真的校准（SBC）来验证贝叶斯推断算法，通过检查先验与后验的秩统计量是否均匀分布，从而帮助检测模型规范错误和算法故障。

ABSTRACT

Verifying the correctness of Bayesian computation is challenging. This is especially true for complex models that are common in practice, as these require sophisticated model implementations and algorithms. In this paper we introduce \emph{simulation-based calibration} (SBC), a general procedure for validating inferences from Bayesian algorithms capable of generating posterior samples. This procedure not only identifies inaccurate computation and inconsistencies in model implementations but also provides graphical summaries that can indicate the nature of the problems that arise. We argue that SBC is a critical part of a robust Bayesian workflow, as well as being a useful tool for those developing computational algorithms and statistical software.

研究动机与目标

• 证明验证贝叶斯计算不仅限于单次结果的必要性。
• 提出SBC作为一个通用、与数据无关的验证工具，适用于产生后验样本的任意采样器。
• 解释SBC如何利用贝叶斯联合分布来检测实现或计算错误。
• 就解读SBC输出和将SBC整合到稳健贝叶斯工作流程中提供指南。

提出的方法

• 定义贝叶斯联合分布和通过从先验抽样以及从模型生成数据来建立自洽性基线。
• 使用参数的一维函数量相对于后验样本的秩统计量来形成直方图，在正确计算下这些直方图期望为均匀分布（定理1）。
• 开发算法1，用来生成跨重复模拟数据集的SBC秩统计量直方图。
• 通过减/截断抽样和有效样本量调整来解决后验样本的自相关性（算法2）。
• 解释SBC直方图的偏离如何映射到后验计算中的过度/不足离散和偏差（可视化诊断）。
• 讨论小偏差的扩展和替代可视化方法（ECDF、分箱策略）。

实验结果

研究问题

• RQ1 SBC是否能够检测贝叶斯分析在指定或实现上出现偏差？
• RQ2 SBC直方图的偏离与特定的校准失败（例如先验错误、MCMC偏差、近似推断方法）之间的关系是什么？
• RQ3 SBC如何适应来自MCMC的相关后验样本以及实际中的小偏差？
• RQ4 在与后验预测检查共同构成的稳健贝叶斯工作流程中，SBC扮演什么角色？
• RQ5 在代表性模型下，不同推断技术（如HMC、ADVI、INLA）在SBC下的表现如何？

主要发现

• SBC揭示了如使用与生成数据时不同的先验等偏差，这会产生特征性的非均匀秩直方图。
• SBC能检测到MCMC中后验样本的偏置或自相关，表现为在各种故障下的直方图形状差异（如cap、cup）。
• ADVI可能因低估或高估后验离散度而失败，这可通过SBC直方图识别。
• INLA在一个空间性疾病流行模型中显示出轻微偏差，可通过SBC检测。
• 减小抽样密度和有效样本量调整可缓解自相关效应，在许多情况下恢复SBC的可解释性。
• SBC为算法和模型实现问题提供了可操作的洞察，作为稳健贝叶斯工作流程中对PPC的补充。