[论文解读] Bayes factor consistency

Siddhartha Chib, Todd A. Kuffner|arXiv (Cornell University)|Jul 1, 2016

Bayesian Methods and Mixture Models参考文献 114被引用 24

一句话总结

本文通过将对数贝叶斯因子分解为三个组成部分：对数似然比、对数先验密度比和负对数后验密度比，提供了一个统一的框架来分析贝叶斯因子的一致性。其关键贡献在于表明，每个模型下后验收缩率决定了贝叶斯因子的一致性，其中后验比作为惩罚项，在适当的先验支撑条件下确保了模型选择的一致性。

ABSTRACT

Good large sample performance is typically a minimum requirement of any model selection criterion. This article focuses on the consistency property of the Bayes factor, a commonly used model comparison tool, which has experienced a recent surge of attention in the literature. We thoroughly review existing results. As there exists such a wide variety of settings to be considered, e.g. parametric vs. nonparametric, nested vs. non-nested, etc., we adopt the view that a unified framework has didactic value. Using the basic marginal likelihood identity of Chib (1995), we study Bayes factor asymptotics by decomposing the natural logarithm of the ratio of marginal likelihoods into three components. These are, respectively, log ratios of likelihoods, prior densities, and posterior densities. This yields an interpretation of the log ratio of posteriors as a penalty term, and emphasizes that to understand Bayes factor consistency, the prior support conditions driving posterior consistency in each respective model under comparison should be contrasted in terms of the rates of posterior contraction they imply.

研究动机与目标

• 为理解在各类统计模型中贝叶斯因子一致性的统一理论框架。
• 阐明先验支撑条件与后验收缩率在驱动模型选择一致性中的作用。
• 将对数贝叶斯因子分解为可解释的组成部分，以支持渐近分析。
• 强调后验密度比在确保一致性方面所起的惩罚作用。

提出的方法

• 使用Chib（1995）的边际似然恒等式，将边际似然表示为似然、先验和后验密度的比值。
• 将对数贝叶斯因子分解为三个可加分量：对数似然比、对数先验密度比和负对数后验密度比。
• 利用模型参数或泛函的一致估计量，分析各分量的大样本行为。
• 将后验密度比视为惩罚项，用以惩罚模型复杂度。
• 应用已知的后验一致性与收缩率结果，评估贝叶斯因子的渐近行为。
• 将该框架扩展至参数模型、非参数模型和半参数模型，包括回归和密度估计场景。

实验结果

研究问题

• RQ1 将对数贝叶斯因子分解为似然、先验和后验分量，如何澄清其渐近行为？
• RQ2 后验收缩率在决定贝叶斯因子一致性方面起什么作用？
• RQ3 先验支撑条件如何影响不同模型类别中贝叶斯因子的一致性？
• RQ4 后验密度比在模型比较中以何种方式起到惩罚项的作用？
• RQ5 该分解框架能否推广至非嵌套、非参数和半参数模型的比较？

主要发现

• 对数贝叶斯因子可分解为三部分之和：对数似然比、对数先验密度比和负对数后验密度比。
• 后验密度比作为惩罚项，随模型复杂度增加而增大，在数据支持时倾向于选择更简单的模型。
• 贝叶斯因子的一致性由各模型下后验收缩的相对速率决定，而不仅仅是后验一致性的存在。
• 当真实模型的后验收缩速度快于备选模型时，一致性成立，即使在非独立同分布或半参数设定下亦然。
• 该框架解释了为何贝叶斯因子即使在边际似然不可计算的情况下，仍能一致地选择真实模型，其关键在于三个分量的渐近行为。
• 该方法为贝叶斯因子在模型选择中经验上的成功提供了理论依据，尤其是在高维和非参数设定下。