[论文解读] Leave-group-out cross-validation for latent Gaussian models

Zhedong Liu, Van Niekerk, Janet+1 more|arXiv (Cornell University)|Oct 10, 2022

Gaussian Processes and Bayesian Inference被引用 16

一句话总结

本文针对依赖数据场景中留一法交叉验证（LOOCV）的局限性，提出了一种用于潜变量高斯模型的留组法交叉验证（LGOOCV）。通过排除具有依赖关系的观测组而非单个点，LGOOCV 更好地模拟了实际预测任务，且该方法利用 R-INLA 高效计算预测评分，无需重新拟合模型，从而在空间、时间及分层数据中实现准确的模型评估。

ABSTRACT

Evaluating the predictive performance of a statistical model is commonly done using cross-validation. Among the various methods, leave-one-out cross-validation (LOOCV) is frequently used. Originally designed for exchangeable observations, LOOCV has since been extended to other cases such as hierarchical models. However, it focuses primarily on short-range prediction and may not fully capture long-range prediction scenarios. For structured hierarchical models, particularly those involving multiple random effects, the concepts of short- and long-range predictions become less clear, which can complicate the interpretation of LOOCV results. In this paper, we propose a complementary cross-validation framework specifcally tailored for longer-range prediction in latent Gaussian models, including those with structured random effects. Our approach differs from LOOCV by excluding a carefully constructed set from the training set, which better emulates longer-range prediction conditions. Furthermore, we achieve computational effciency by adjusting the full joint posterior for this modifed cross-validation, thus eliminating the need for model reftting. This method is implemented in the R-INLA package (www.r-inla.org) and can be adapted to a variety of inferential frameworks.

研究动机与目标

• 为解决在具有空间、时间或分层结构等依赖数据中，LOOCV 导致的预测性能评估过于乐观的问题。
• 通过排除整个依赖观测组而非单个点，定义更贴近现实的预测任务。
• 开发一种计算高效的算法，避免在潜变量高斯模型的交叉验证过程中重新拟合模型。
• 提供一种与非独立同分布（non-i.i.i.d.）设置下实际预测场景相一致的贝叶斯模型评估框架。
• 在 R-INLA 包中实现该方法，以提升其在应用统计学中的可及性与实用性。

提出的方法

• 提出留组法交叉验证（LGOOCV）作为 LOOCV 的改进，即从训练集中整体排除具有依赖关系的观测组。
• 基于依赖模式（如空间邻近性、时间顺序、分层嵌套）自动识别组结构，以定义排除集合。
• 利用完整模型的联合后验分布，在不重新拟合模型的前提下计算被排除组的预测评分，利用潜变量高斯模型中的条件独立性。
• 通过稀疏矩阵运算和现有精度矩阵分解的复用，实现高效计算，以求解预测密度。
• 在模型中引入线性约束以处理固定效应或可识别性条件，同时保持计算可行性。
• 采用对数评分作为评估指标：$ u_{LGOOCV} = \frac{1}{|I|} \sum_{i \in I} \log \pi(y_i | \boldsymbol{y}_{-I}) $，其中 $ I $ 为被排除的组。

实验结果

研究问题

• RQ1 如何对交叉验证方法进行改进，以更真实地反映在具有空间、时间或多层次结构的依赖数据中的实际预测任务？
• RQ2 在潜变量高斯模型中，排除单个观测点（LOOCV）与排除整个观测组（LGOOCV）对预测性能评估有何影响？
• RQ3 是否可以在不为每个被排除组重新拟合模型的前提下，准确评估预测性能？
• RQ4 如何高效调整联合后验分布，以在潜变量高斯模型中实现组别排除下的预测评分计算？
• RQ5 在非独立同分布设置下，LGOOCV 相较于 LOOCV 具有哪些计算与统计优势？

主要发现

• 在依赖数据中，LGOOCV 比 LOOCV 提供了更真实的预测性能评估，避免了因单点排除而产生的插值偏差。
• 该方法通过复用完整后验分布，并利用稀疏矩阵求解与后验调整高效计算预测密度，避免了完整模型重拟合。
• 由于复用了潜变量高斯模型中精度矩阵的 Cholesky 分解，该方法在计算上可行且具备可扩展性。
• 该框架已实现在 R-INLA 包中，可立即应用于空间、时间及分层建模。
• 实证结果表明，在强依赖结构下，LGOOCV 比 LOOCV 提供更稳定可靠的模型比较结果。
• 该方法能正确处理潜变量场中的线性约束，确保在可识别性限制下仍能进行有效推断。