[论文解读] Approximate leave-future-out cross-validation for time series models

Paul‐Christian Bürkner, Jonah Gabry+1 more|arXiv (Cornell University)|Feb 17, 2019

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文提出了一种高效的近似留未来-out交叉验证（LFO-CV）方法，采用广义帕累托平滑重要性抽样（PSIS）以大幅降低计算成本，同时保持准确性。该方法通过模拟未来的预测任务，提供可靠的预测性能估计，避免了时间序列设置下留一-out交叉验证（LOO-CV）因未来信息泄露而导致的过于乐观的偏差。

ABSTRACT

One of the common goals of time series analysis is to use the observed series to inform predictions for future observations. In the absence of any actual new data to predict, cross-validation can be used to estimate a model's future predictive accuracy, for instance, for the purpose of model comparison or selection. As exact cross-validation for Bayesian models is often computationally expensive, approximate cross-validation methods have been developed; most notably methods for leave-one-out cross-validation (LOO-CV). If the actual prediction task is to predict the future given the past, LOO-CV provides an overly optimistic estimate as the information from future observations is available to influence predictions of the past. To tackle the prediction task properly and account for the time series structure, we can use leave-future-out cross-validation (LFO-CV). Like exact LOO-CV, exact LFO-CV requires refitting the model many times to different subsets of the data. Using Pareto smoothed importance sampling, we propose a method for approximating exact LFO-CV that drastically reduces the computational costs while also providing informative diagnostics about the quality of the approximation.

研究动机与目标

• 为解决时间序列中留一-out交叉验证（LOO-CV）的局限性，其因未来信息泄露导致估计过于乐观。
• 开发一种计算高效的精确留未来-out交叉验证（LFO-CV）替代方法，后者需要重复模型重新拟合。
• 通过准确估计在未见未来数据上的预测性能，实现对未来预测任务的可靠模型比较与选择。
• 提供关于近似质量的诊断信息，确保在实际应用中的可信度。

提出的方法

• 该方法使用广义帕累托平滑重要性抽样（PSIS）来近似精确的LFO-CV，而无需对每个未来观测值重新拟合模型。
• 通过重新加权单次完整模型拟合的后验样本，来估计若每个未来观测值被排除时的预测性能。
• 通过确保过去观测值的预测仅基于更早的数据，该方法考虑了时间结构，模拟了真实的未来预测场景。
• PSIS利用广义帕累托分布对重要性权重进行平滑处理，提高鲁棒性，并通过形状参数实现诊断检查。
• 该方法可检测可能损害近似准确性的高杠杆未来观测值，在结果可能不可靠时发出警告。
• 最终的近似方法可实现快速计算预期对数预测密度（ELPD），用于模型比较。

实验结果

研究问题

• RQ1 能否开发一种近似LFO-CV方法，在时间序列模型中保持准确性的同时显著降低计算成本？
• RQ2 所提出的PSIS-LFO-CV方法在预测性能估计方面与精确LFO-CV相比如何？
• RQ3 可提供哪些诊断信息以评估近似LFO-CV结果的可靠性？
• RQ4 该方法在应用于时间序列数据时是否避免了LOO-CV固有的乐观偏差？
• RQ5 该方法能否在无需重复完整模型重新拟合的情况下，高效应用于贝叶斯时间序列模型？

主要发现

• 所提出的PSIS-LFO-CV方法在计算成本显著降低的同时，实现了与精确LFO-CV相近的预测性能估计。
• 通过广义帕累托分布的形状参数，该方法提供了可靠的诊断信息，可识别近似可能不可靠的情况。
• 通过仅进行一次完整模型拟合，该方法避免了重复重新拟合的需要，使其可扩展至大规模时间序列。
• 该方法正确处理了时间依赖性，避免了LOO-CV在时间序列场景中因未来信息泄露而产生的问题。
• 该方法即使在复杂的贝叶斯时间序列模型中，也能实现对未来预测任务的准确模型比较与选择。