[论文解读] Leave-One-Out Cross-Validation for Bayesian Model Comparison in Large Data

Måns Magnusson, Michael Riis Andersen+2 more|arXiv (Cornell University)|Jan 3, 2020

Statistical Methods and Bayesian Inference参考文献 32被引用 30

一句话总结

该论文通过将差分估计器与快速的留一交叉验证（LOO）代理相结合，开发了一种在大型数据集上比较贝叶斯模型的高效方法，能够在最少子抽样的情况下实现准确的 elpd 差异，并且模型无关的采样。

ABSTRACT

Recently, new methods for model assessment, based on subsampling and posterior approximations, have been proposed for scaling leave-one-out cross-validation (LOO) to large datasets. Although these methods work well for estimating predictive performance for individual models, they are less powerful in model comparison. We propose an efficient method for estimating differences in predictive performance by combining fast approximate LOO surrogates with exact LOO subsampling using the difference estimator and supply proofs with regards to scaling characteristics. The resulting approach can be orders of magnitude more efficient than previous approaches, as well as being better suited to model comparison.

研究动机与目标

• 动机并量化在大数据情形下使用 elpd（期望对数预测密度）进行可扩展贝叶斯模型比较的需求。
• 开发一种高效程序，通过差分估计与子抽样，在大数据情形下估计模型之间 elpd 的差异。
• 将有效参数计数 p_eff 纳入 LOO 代理，以提高近似的准确性。
• 提供收敛的理论保证并讨论大数据情景下的计算权衡。

提出的方法

• 使用带有简单随机抽样（不放回）的差分估计器来估计模型之间的 elpd 差异（方程 Eq. 7）。
• 在 LOO 代理中加入 p_eff 以提升近似质量（方程 Eq. 1.2 及相关讨论）。
• 提出快速近似代理（Delta WAIC 变体、基于泰勒展开的 p_eff 近似、PSIS-LOO 替代方案），以在较低成本下获得 pi_tilde（见 Sec. 2.2）。
• 证明差分估计器能对 elpd_loo 及其方差给出无偏估计，并且当 pi_tilde 的均值收敛于 pi 时收敛性成立（命题 2 与 3）。
• 概述各种代理的计算成本，并展示成本如何随 n、P、S 的变化而缩放（表 1）。

实验结果

研究问题

• RQ1 使用更好的近似 pi_tilde 是否会在 elpd 估计和模型比较中提升经验表现？
• RQ2 哪一种 pi_tilde 代理在大数据情境下提供有利的成本-准确性权衡？
• RQ3 差分估计器与 Hansen-Hurwitz（HH）方法在估计 elpd 差异及方差方面的比较？
• RQ4 在进行大数据贝叶斯模型比较时，该方法的可扩展性如何？

主要发现

• 在 elpd 的估计中加入 p_eff 相对于仅使用 plpd，显著提高准确性（通常达到数量级的提升）。
• 差分估计器使得可以复用单一子样本来估计多个模型比较，从而降低计算成本。
• HH 与差分估计器在单个 elpd 估计方面表现相似，尽管对于某些模型 HH 可能略微更优；差分估计器的优势在于方差估计和模型比较。
• 基于 TIS 的代理（如 TIS_2k）在大模型或分层模型中提供最佳准确性，成本可控；对于简单模型，推荐使用 plpd。
• 该方法在可观的扩展性上表现良好，当子样本较小（如 m 约为 100–400）即可比较模型，随着 pi_tilde 与 p_eff 近似的改进，准确性提升。