[论文解读] Bayesian leave-one-out cross-validation approximations for Gaussian latent variable models

Aki Vehtari, Tommi Mononen+3 more|arXiv (Cornell University)|Dec 23, 2014

Gaussian Processes and Bayesian Inference参考文献 56被引用 58

一句话总结

本文提出了一种针对高斯隐变量模型（GLVMs）的贝叶斯留一法交叉验证（LOO）的快速、精确近似方法，采用拉普拉斯法和期望传播（EP）后验近似。结果表明，对LOO边缘分布（空 cavity 分布）使用高斯近似是计算最准确且最高效的方法，在完成完整数据后验推断后，额外计算成本可忽略不计。

ABSTRACT

The future predictive performance of a Bayesian model can be estimated using Bayesian cross-validation. In this article, we consider Gaussian latent variable models where the integration over the latent values is approximated using the Laplace method or expectation propagation (EP). We study the properties of several Bayesian leave-one-out (LOO) cross-validation approximations that in most cases can be computed with a small additional cost after forming the posterior approximation given the full data. Our main objective is to assess the accuracy of the approximative LOO cross-validation estimators. That is, for each method (Laplace and EP) we compare the approximate fast computation with the exact brute force LOO computation. Secondarily, we evaluate the accuracy of the Laplace and EP approximations themselves against a ground truth established through extensive Markov chain Monte Carlo simulation. Our empirical results show that the approach based upon a Gaussian approximation to the LOO marginal distribution (the so-called cavity distribution) gives the most accurate and reliable results among the fast methods.

研究动机与目标

• 开发高斯隐变量模型（GLVMs）中贝叶斯留一法交叉验证（LOO）的高效且精确的近似方法。
• 将基于拉普拉斯法和期望传播（EP）方法的LOO近似结果，与通过MCMC计算的精确LOO结果进行对比，评估其准确性。
• 从准确度与计算成本两个方面，比较不同LOO近似技术的性能表现。
• 利用马尔可夫链蒙特卡洛（MCMC）作为基准真实值，评估拉普拉斯法和EP后验近似的可靠性。
• 证明基于空 cavity 分布的LOO近似方法在准确度与计算效率之间达到了最佳平衡。

提出的方法

• 使用拉普拉斯法和期望传播（EP）方法，对GLVMs中潜变量的后验分布进行近似。
• 对LOO边缘分布（即空 cavity 分布）采用高斯近似，以快速计算LOO交叉验证估计值。
• 在完成完整数据后验近似后，以极低的额外计算成本计算LOO近似值。
• 利用空 cavity 分布方法，估计每个被剔除观测的预测性能。
• 将基于空 cavity 的LOO方法与其它快速LOO方法（如矩修正法：LA-CM2、EP-FACT）以及通过MCMC实现的精确LOO进行比较。
• 利用GLVMs中似然函数的可分解结构，实现无需重新运行完整后验推断即可高效计算LOO。

实验结果

研究问题

• RQ1 与通过MCMC计算的精确LOO相比，基于拉普拉斯法和EP方法的快速LOO交叉验证近似方法的准确度如何？
• RQ2 在空 cavity 分布法、矩修正法和直接近似法中，哪一种方法能提供最准确的预测性能估计？
• RQ3 与标准后验推断相比，使用空 cavity 分布方法计算LOO的计算开销如何？
• RQ4 拉普拉斯法和EP近似在后验准确度方面与基于MCMC的真实值相比表现如何？
• RQ5 空 cavity 分布方法是否可被可靠地用于GLVMs中的模型选择与性能评估，且计算成本极低？

主要发现

• 基于空 cavity 分布的LOO近似方法在所有快速LOO方法中提供了最准确、最可靠的结果，优于矩修正法和直接近似法。
• 该空 cavity 方法在完成完整数据后验近似后，额外计算成本可忽略不计，因此具有极高的计算效率。
• 对于 probit 似然函数，GPstuff-EP 的运行速度为 GPstuff-LA 的 1.5–5 倍慢；而对于带删失的 log-logistic 似然，GPstuff-EP 约慢 18 倍，原因在于基于数值积分的矩计算速度较慢。
• 由于更好的向量化和并行更新机制，GPstuff-EP 的运行速度比 GPML-EP 快 10–25 倍，凸显了实现效率的差异。
• 全局高斯变分（KL）方法的运行速度比 GPML-EP 慢 70–500 倍，尽管其时间复杂度同为 O(n³)，这证实了其极高的计算开销。
• 对于 Student’s t 似然函数，GPstuff 中的 robust-EP 实现表现良好，而 GPML-KL 未能正确收敛，表现出显著的性能下降。