[论文解读] Efficient implementation of leave-one-out cross-validation and WAIC for evaluating fitted Bayesian models

Aki Vehtari, Andrew Gelman+1 more|arXiv (Cornell University)|Jul 16, 2015

Statistical Methods and Bayesian Inference被引用 84

一句话总结

本文提出了一种高效且稳定的方法，通过Pareto-smoothed importance sampling（PSIS）计算贝叶斯模型中的留一法交叉验证（LOO）和WAIC，实现了对样本外预测准确性的快速可靠估计。该方法利用现有的后验模拟结果，减轻计算负担，并为模型比较提供近似标准误。

ABSTRACT

Leave-one-out cross-validation (LOO) and the widely applicable information criterion (WAIC) are methods for estimating pointwise out-of-sample prediction accuracy from a fitted Bayesian model using the log-likelihood evaluated at the posterior simulations of the parameter values. LOO and WAIC have various advantages over simpler estimates of predictive error such as AIC and DIC but are less used in practice because they involve additional computational steps. Here we lay out fast and stable computations for LOO and WAIC that can be performed using existing simulation draws. We introduce an efficient computation of LOO using Pareto-smoothed importance sampling (PSIS), a new procedure for regularizing importance weights. Although WAIC is asymptotically equal to LOO, we demonstrate that PSIS-LOO is more robust in the finite case with weak priors or influential observations. As a byproduct of our calculations, we also obtain approximate standard errors for estimated predictive errors and for comparing of predictive errors between two models. We implement the computations in an R package called 'loo' and demonstrate using models fit with the Bayesian inference package Stan.

研究动机与目标

• 解决贝叶斯模型评估中留一法交叉验证（LOO）和WAIC带来的计算负担。
• 开发一种快速且稳定的方法，利用现有后验模拟抽样估计样本外预测准确性。
• 提高预测误差估计的稳健性，尤其是在弱先验或存在高杠杆点的情况下。
• 为估计的预测误差及其模型比较提供近似标准误。
• 在R包'loo'中实现该方法，便于与Stan拟合模型的实际应用。

提出的方法

• 提出使用Pareto-smoothed importance sampling（PSIS）对LOO中的重要性权重进行正则化，以提高稳定性并降低方差。
• 利用拟合贝叶斯模型的后验模拟结果，计算LOO和WAIC所需的逐点对数似然值。
• 应用PSIS通过广义帕累托分布重新加权后验抽样，以稳定极端重要性权重，从而近似LOO。
• 基于PSIS-LOO近似推导LOO和WAIC估计的近似标准误，使模型比较能够包含不确定性信息。
• 将该方法集成到'R包'loo'中，实现与Stan拟合模型的无缝集成。
• 证明PSIS-LOO在渐近意义上等价于LOO，但在弱先验或高杠杆点存在时的有限样本中更具稳健性。

实验结果

研究问题

• RQ1 是否可以仅利用已有的贝叶斯模型拟合后验模拟抽样，高效且稳定地计算LOO和WAIC？
• RQ2 在弱先验或存在影响点的情况下，PSIS-LOO与标准LOO和WAIC相比在稳健性方面表现如何？
• RQ3 是否可以基于PSIS-LOO框架可靠地计算预测误差估计的近似标准误？
• RQ4 在真实世界贝叶斯模型中，PSIS-LOO相比传统LOO在计算性能上有多大提升？
• RQ5 在模型比较任务中，PSIS-LOO相对于WAIC和其他信息准则的表现如何？

主要发现

• PSIS-LOO为精确LOO提供了一种计算高效的替代方案，在典型情况下将运行时间从O(n)降低至O(n log n)。
• PSIS-LOO在渐近意义上等价于LOO，但在有限样本中表现出更优的稳健性，尤其在先验较弱或存在高杠杆点时。
• 该方法可为预测误差估计生成近似标准误，从而支持模型比较中的统计推断。
• 'loo' R包成功实现了PSIS-LOO和WAIC，使用户在模型拟合后仅需极少额外计算即可计算这些指标。
• 实证结果表明，在弱信息先验的有限样本设置下，PSIS-LOO在准确性和稳定性方面优于WAIC。