[论文解读] Limitations of "Limitations of Bayesian leave-one-out cross-validation for model selection"

Aki Vehtari, Daniel Simpson+2 more|arXiv (Cornell University)|Oct 12, 2018

Statistical Methods and Bayesian InferenceMathematics参考文献 17被引用 21

一句话总结

本文挑战了Gronau与Wagenmakers（2018）对贝叶斯留一法交叉验证（LOO-CV）的批评，认为其对LOO标准、推荐用法的解读存在误解。本文主张在LOO中使用不确定性估计和模型权重（如伪-BMA+或堆叠权重），强调LOO不应当被简化为单一数值的决策规则，而应结合诊断统计量（如$\hat{k}$）来评估模型拟合与预测性能。

ABSTRACT

This article is an invited discussion of the article by Gronau and Wagenmakers (2018) that can be found at https://dx.doi.org/10.1007/s42113-018-0011-7.

研究动机与目标

• 纠正Gronau与Wagenmakers（2018）对贝叶斯留一法交叉验证（LOO-CV）的误解，特别是其声称LOO本质上存在缺陷的观点。
• 论证LOO不应用于单一数值的决策规则，而应结合不确定性量化与诊断检查。
• 提倡使用伪-BMA+权重与堆叠权重，作为LOO中模型权重估计的更优替代方案，以替代伪贝叶斯因子。
• 强调诊断工具（如$\hat{k}$统计量）在检测影响性观测与模型设定错误方面的重要性。
• 强调LOO更适合用于模型批评而非强制性模型选择，尤其当无一模型明显正确时。

提出的方法

• 将LOO-CV重新解释为对预期对数预测密度的估计，并通过LOO估计的样本方差量化其不确定性。
• 建议以伪-BMA+权重替代伪贝叶斯因子，后者假设对数预测密度差异呈正态分布，并据此调整模型权重。
• 提出堆叠权重作为更严谨的模型组合方法，直接应用LOO原则。
• 通过将LOO差异分解为单个数据点的贡献，识别问题观测与模型-数据不匹配。
• 应用$\hat{k}$诊断统计量，检测当某一观测被排除时预测分布发生剧烈变化的高杠杆点。
• 强调LOO中条件可交换性的重要性，并警告在时间序列、空间或分层模型中使用LOO时，若无基于区块的交叉验证，不应直接应用。

实验结果

研究问题

• RQ1 为何在LOO模型选择中使用单一数值汇总（如伪贝叶斯因子）存在问题？
• RQ2 在模型比较中，如何适当地考虑LOO估计的不确定性？
• RQ3 伪-BMA+与堆叠权重相较于伪贝叶斯因子，在LOO模型平均中具有哪些优势？
• RQ4 LOO诊断（如$\hat{k}$）在哪些方面可提升模型批评能力并揭示模型设定错误？
• RQ5 在何种条件下LOO会失效？这些失效现象如何被检测或避免？

主要发现

• Gronau与Wagenmakers（2018）所使用的伪贝叶斯因子并不代表标准LOO实践，标准做法应包含不确定性量化与模型权重。
• 伪-BMA+权重（假设对数预测密度差异呈正态分布）是伪贝叶斯因子的更合适且更稳健的替代方案。
• 堆叠权重通过直接应用LOO原则，为模型组合提供了更严谨的方法，从而提升预测性能。
• $\hat{k}$诊断统计量能有效识别当某一样本点被排除时模型预测发生显著变化的高杠杆点。
• LOO本身并非本质上存在缺陷，但当数据在给定模型参数下不满足条件可交换性，或未来数据与观测数据显著不同时，其会失效。
• 当所有模型均不充分时，LOO可通过拒绝选择单一模型来表达认识论上的不确定性，而边际似然方法则始终倾向于选择一个模型，无论其拟合程度如何。