[论文解读] Monte Carlo algorithms for model assessment via conflicting summaries

Oliver Ratmann, Pierre Pudlo+2 more|arXiv (Cornell University)|Jun 29, 2011

Markov Chains and Monte Carlo Methods参考文献 2被引用 4

一句话总结

本文提出了一种测度论框架，利用近似贝叶斯计算（ABC）通过冲突汇总统计量评估模型拟合度，将拒绝法、梅特罗波利斯-黑斯廷斯法和序贯重要性采样ABC算法扩展用于联合参数推断与模型检验。主要贡献在于：当似然函数不可计算时，提出一种实用且计算高效的基于ABC的模型选择方法，并在进化生物学与动态系统中通过改进的汇总统计量选择方法得到验证。

ABSTRACT

The development of statistical methods and numerical algorithms for model choice is vital to many real-world applications. In practice, the ABC approach can be instrumental for sequential model design; however, the theoretical basis of its use has been questioned. We present a measure-theoretic framework for using the ABC error towards model choice and describe how easily existing rejection, Metropolis-Hastings and sequential importance sampling ABC algorithms are extended for the purpose of model checking. Considering a panel of applications from evolutionary biology to dynamic systems, we discuss the choice of summaries which differs from standard ABC approaches. The methods and algorithms presented here may provide the workhorse machinery for an exploratory approach to ABC model choice, particularly as the application of standard Bayesian tools can prove impossible.

研究动机与目标

• 解决似然函数不可计算场景下的模型选择挑战，使标准贝叶斯工具（如贝叶斯因子）难以应用。
• 构建一个框架，利用ABC生成的伪数据不仅进行参数推断，还用于模型评估与诊断检查。
• 将现有ABC算法（拒绝法、梅特罗波利斯-黑斯廷斯法、序贯重要性采样）扩展用于模型检验，计算开销最小化。
• 在ABC近似中不确定性量化有限时，提供一种实用的探索性替代方案，以替代正式的贝叶斯模型选择。
• 通过识别能暴露模型缺陷但同时保持准确参数估计的汇总统计量，改进汇总统计量的选择。

提出的方法

• 提出一种测度论框架，将ABC重新解释为一种通过汇总统计量评估模拟数据与观测数据之间拟合度的模型检验工具。
• 将标准ABC算法（拒绝法、梅特罗波利斯-黑斯廷斯法、SIS）扩展，通过差异度量同时实现参数推断与模型评估。
• 使用一维均匀核函数与容忍度τ定义接受准则，距离函数根据每种汇总统计量进行定制（例如：Cramer-von-Mises统计量、自相关比值的对数）。
• 采用对数比值与尾部概率而非差值，以确保ABC误差的内在可解释性。
• 应用汇总统计量如CDF-ΔPK、ACF-ΔPK、M-EXPL、M-ATTR与CDF-PK，其选择基于检测模型拟合不足的能力。
• 通过群体遗传学（Div13、Div23模型）与动态SIRS模型的合成数据验证该方法，使用DIYABC进行共祖模拟。

实验结果

研究问题

• RQ1 如何系统性地利用ABC生成的伪数据，不仅用于参数推断，还用于诊断模型不足？
• RQ2 对现有ABC算法进行何种修改，可实现联合推断与模型检验，且计算成本最低？
• RQ3 哪些汇总统计量在暴露模型缺陷的同时，仍能保持准确的参数估计？
• RQ4 当标准贝叶斯因子因近似误差不可靠时，ABC误差分布能否被有意义地用于评估模型拟合度？
• RQ5 如何通过距离函数与汇总统计量的选择，增强ABC差异度的可解释性？

主要发现

• 所提出的ABC模型检验框架通过利用基于模拟的差异度量，即使在似然函数不可计算时，也能实现可靠的模型评估，其核心是冲突汇总统计量。
• 拒绝法、梅特罗波利斯-黑斯廷斯法与序贯重要性采样ABC算法可被扩展用于模型检验，且计算开销无或可忽略。
• 汇总统计量集合（CDF-ΔPK、ACF-ΔPK、M-EXPL、M-ATTR）能有效检测SIRS模型中的模型缺陷，而CDF-PK因高波动性需依赖对数比值差异度。
• 使用对数比值与尾部概率作为差异度量，相比原始差值，显著提升了ABC误差的可解释性。
• 在群体遗传学中，该方法成功利用六个与种群间遗传变异相关的关键汇总统计量识别出模型拟合不足。
• 该方法在荷兰流感监测系统的真实数据上得到验证，能够准确捕捉随时间变化的报告动态，通过时变真阳性率建模。