[论文解读] Lack of confidence in ABC model choice

Christian P. Robert, Jean‐Marie Cornuet+2 more|Feb 22, 2011

Bayesian Methods and Mixture Models参考文献 49被引用 31

一句话总结

本文挑战了在模型选择中使用近似贝叶斯计算（ABC）的可靠性，表明即使在数据和计算量无限的情况下，使用不足的摘要统计量也会导致模型选择不一致。文章指出，未经经验验证，基于ABC的贝叶斯因子不可靠，主张通过蒙特卡洛方法评估错误率进行探索性使用，如 DIY-ABC 中所实现的那样。

ABSTRACT

Approximate Bayesian computation (ABC) have become a essential tool for the analysis of complex stochastic models. Earlier, Grelaud et al. (2009) advocated the use of ABC for Bayesian model choice in the specific case of Gibbs random fields, relying on a inter-model sufficiency property to show that the approximation was legitimate. Having implemented ABC-based model choice in a wide range of phylogenetic models in the DIY-ABC software (Cornuet et al., 2008), we now present theoretical background as to why a generic use of ABC for model choice is ungrounded, since it depends on an unknown amount of information loss induced by the use of insufficient summary statistics. The approximation error of the posterior probabilities of the models under comparison may thus be unrelated with the computational effort spent in running an ABC algorithm. We then conclude that additional empirical verifications of the performances of the ABC procedure as those available in DIYABC are necessary to conduct model choice.

研究动机与目标

• 调查在使用不足摘要统计量时，ABC在贝叶斯模型选择中的理论与实际有效性。
• 证明即使在数据和计算量无限的情况下，由于信息损失，ABC模型选择仍可能不一致。
• 论证在未对性能进行经验评估的情况下，基于ABC的贝叶斯因子不可靠。
• 提倡将ABC用于模型选择作为探索性工具，而非确定性推断方法。
• 强调必须通过蒙特卡洛方法评估错误分配率，以评估ABC模型选择的可靠性。

提出的方法

• 作者采用基于模拟的方法，将ABC对后验模型概率的近似值与重要性抽样（IS）方法的结果进行比较，后者是一种更可靠的方法。
• 他们使用简单和复杂的人口遗传模型，评估ABC在不同数量摘要统计量（24 vs. 15）下的表现。
• ABC算法采用容差阈值ε、距离度量ρ和摘要统计量η，根据参数模拟与观测数据的接近程度进行接受。
• 通过比较ABC后验概率与IS估计值，评估近似精度与一致性。
• 通过DIY-ABC软件进行经验验证，该软件通过蒙特卡洛模拟计算错误分配率。
• 理论依据在于摘要统计量的非充分性，可能导致模型选择出现不一致。

实验结果

研究问题

• RQ1 在使用不足摘要统计量时，ABC模型选择在理论上是否可被证明？
• RQ2 由于摘要统计量不足导致的信息损失，对ABC模型选择一致性有何影响？
• RQ3 在真实的人口遗传模型中，ABC后验概率与重要性抽样结果相比如何？
• RQ4 在缺乏经验验证的情况下，ABC基于的贝叶斯因子在多大程度上可以被信任用于模型选择？
• RQ5 蒙特卡洛方法评估错误分配率在评估ABC模型选择可靠性方面发挥什么作用？

主要发现

• 在第一个实验中，使用24个摘要统计量的ABC得到的后验概率估计值与重要性抽样结果高度相关（r = 0.997），表明两者高度一致。
• 当减少到15个摘要统计量时，相关性降至0.948，且ABC与IS之间的模型选择决策有12%相反，表明不一致性增加。
• 在更复杂的第二个实验中，ABC与IS估计值之间的相关性降至0.643，且26%的决策不一致，表明性能显著下降。
• 即使在数据和计算量无限的情况下，若使用不足的统计量，ABC模型选择仍可能无法恢复真实模型，表现出不一致性。
• DIY-ABC软件报告的错误分配率评估结果显示，两次实验的错误率分别为20%和14.5%，证实了经验验证的必要性。
• 作者得出结论：ABC模型选择应被视为探索性工具，其性能应通过错误率的蒙特卡洛模拟进行评估，而非作为确定性推断方法。