[论文解读] Bayesian model assessment: Use of conditional vs marginal likelihoods

Edgar C. Merkle, Daniel C. Furr+1 more|arXiv (Cornell University)|Feb 13, 2018

Statistical Methods and Bayesian Inference参考文献 8被引用 10

一句话总结

本文澄清了在具有潜变量的贝叶斯模型评估中，条件似然与边际似然之间的关键区别，表明条件DIC/WAIC对应于留一单位交叉验证（LOuO），而边际DIC/WAIC则与留一簇交叉验证（LOcO）一致。其主要贡献是建立了一个原则性的框架，用于根据预测目标是针对单个单位还是更高级别的聚类，选择合适的评估准则。

ABSTRACT

Typical Bayesian methods for models with latent variables (or random effects) involve directly sampling the latent variables along with the model parameters. In high-level software code for model definitions (using, e.g., BUGS, JAGS, Stan), the likelihood is therefore specified as conditional on the latent variables. This can lead researchers to perform model comparisons via conditional likelihoods, where the latent variables are considered model parameters. In other settings, typical model comparisons involve marginal likelihoods where the latent variables are integrated out. This distinction is often overlooked despite the fact that it can have a large impact on the comparisons of interest. In this paper, we clarify and illustrate these issues, focusing on the comparison of conditional and marginal Deviance Information Criteria (DICs) and Watanabe-Akaike Information Criteria (WAICs) in psychometric modeling. The conditional/marginal distinction corresponds to whether the model should be predictive for the that are in the data or for new (where clusters typically correspond to higher-level units like people or schools). Correspondingly, we show that marginal WAIC corresponds to leave-one-cluster out (LOcO) cross-validation, whereas conditional WAIC corresponds to leave-one-unit (LOuO). These results lead to recommendations on the general application of these criteria to models with latent variables.

研究动机与目标

• 为解决在具有潜变量的模型中，贝叶斯模型比较里条件似然与边际似然之间广泛存在但常被忽视的关键区别。
• 阐明在DIC和WAIC等模型评估准则中，使用条件似然与边际似然的含义差异。
• 在心理测量学和层次模型中，建立模型比较准则与交叉验证方案（LOuO与LOcO）之间的原则性联系。
• 指导研究人员根据分析的预测目标——个体单位或聚类（如个人、学校）——选择合适的评估准则。

提出的方法

• 本文比较了具有潜变量的模型中条件与边际偏差信息准则（DIC）和和田-明石信息准则（WAIC）。
• 形式化了对潜变量进行条件处理（将其视为参数）与将其积分掉（边际化）之间的区别。
• 作者推导出边际WAIC与留一簇交叉验证（LOcO）的理论等价性，以及条件WAIC与留一单位交叉验证（LOuO）的理论等价性。
• 该方法通过心理测量学模型进行说明，特别是具有随机效应的层次模型。
• 该框架基于贝叶斯推断原理，强调预测分布于模型比较中的作用。
• 本文使用模拟数据和真实数据示例，展示了选择条件准则与边际准则的实际后果。

实验结果

研究问题

• RQ1 在贝叶斯模型评估中，条件似然与边际似然在处理潜变量方面有何不同？
• RQ2 在层次模型中，条件WAIC与LOuO交叉验证之间存在何种关系？
• RQ3 在具有潜变量的模型中，边际WAIC与LOcO交叉验证之间存在何种关系？
• RQ4 在模型比较准则中，条件准则与边际准则哪一个更符合预期的预测目标（个体单位与聚类）？
• RQ5 在心理测量学应用中，选择条件似然与边际似然如何影响模型选择结果？

主要发现

• 条件WAIC对应于留一单位交叉验证（LOuO），其中预测针对单个观测值进行，且将聚类视为固定。
• 边际WAIC对应于留一簇交叉验证（LOcO），其中预测针对整个单位簇进行。
• 在目标为聚类层面预测时，使用条件似然进行模型比较可能导致对单个单位的过拟合。
• 当目标是预测新聚类或更高级别的单位时，边际似然更为合适，因为它考虑了潜变量的不确定性。
• 条件与边际准则之间的区别显著影响模型比较结果，特别是在具有随机效应的层次模型中。
• 本文为根据分析的预测目标选择条件或边际准则提供了清晰的理论依据。