[论文解读] Understanding predictive information criteria for Bayesian models

Andrew Gelman, Jessica Hwang+1 more|arXiv (Cornell University)|Jul 23, 2013

Statistical Methods and Bayesian Inference参考文献 25被引用 9

一句话总结

本文从贝叶斯视角出发，将预测信息准则（AIC、DIC 和 WAIC）框架化为偏差校正的样本外预测误差估计器。通过三个示例进行比较，表明 WAIC 是一种计算高效、完全贝叶斯的交叉验证替代方法，具有坚实的理论基础，并在实践中表现可靠。

ABSTRACT

We review the Akaike, deviance, and Watanabe-Akaike information criteria from a Bayesian perspective, where the goal is to estimate expected out-of-sample-prediction error using a biascorrected adjustment of within-sample error. We focus on the choices involved in setting up these measures, and we compare them in three simple examples, one theoretical and two applied. The contribution of this review is to put all these information criteria into a Bayesian predictive context and to better understand, through small examples, how these methods can apply in practice.

研究动机与目标

• 通过将信息准则置于预测框架中，阐明其在贝叶斯模型比较中的作用。
• 解决在实际贝叶斯建模中选择 AIC、DIC 和 WAIC 时存在的实际困惑。
• 通过简单但非平凡的示例评估这些准则的表现，以建立其使用直觉。
• 倡导 WAIC 作为贝叶斯环境中交叉验证的可靠、计算高效的替代方法。
• 指出现有方法的局限性，并强调在复杂模型中需要稳健、可扩展的模型评估工具。

提出的方法

• 将 AIC、DIC 和 WAIC 视为通过调整样本内预测误差来校正过拟合的交叉验证近似方法。
• 将这些准则应用于三个示例：一个简单的正态模型、一个分层模型，以及一个具有二值数据的逻辑回归模型。
• 以对数预测密度作为模型准确性的核心度量，对点预测则使用平方误差等恰当评分规则。
• 利用后验预测检查和有效参数个数来评估模型拟合度与复杂度。
• 在不同数据结构和先验假设下，比较各准则的结果并评估其稳健性。
• 基于 Watanabe（2010）和 Vehtari & Ojanen（2012）的既定理论基础，为基于逐点预测密度的 WAIC 构成提供理论支持。

实验结果

研究问题

• RQ1 在贝叶斯模型中，AIC、DIC 和 WAIC 作为样本外预测误差估计器的表现如何？
• RQ2 在哪些场景下这些准则会失效或产生误导性结果？
• RQ3 与交叉验证相比，WAIC 在准确性和计算效率方面表现如何？
• RQ4 在使用这些准则进行模型比较时，模型选择偏差会产生何种影响？
• RQ5 WAIC 是否可作为实际贝叶斯推断中交叉验证的可靠、完全贝叶斯的替代方法？

主要发现

• WAIC 提供了一种完全贝叶斯的交叉验证近似方法，计算高效，并通过逐点预测密度估计得到充分理论支持。
• 当后验分布无法用其均值良好近似时（尤其是在非正规模型中），DIC 可能产生不合理的结果。
• 在强先验信息存在的场景下，AIC 失效，因为它未考虑先验对模型复杂度的影响。
• 即使模型改进，预测准确性的提升在绝对值上可能很小——例如，在一项 n=1000 的调查示例中仅提升 20 个单位——这在小样本中难以检测。
• 当比较大量模型时，尤其是当模型数量随样本量增长时，使用信息准则进行模型选择可能引入偏差。
• 尽管存在缺陷，信息准则与交叉验证仍是理解模型拟合度的宝贵工具，尤其当用于探索模型改进而非作为最终选择依据时。