[论文解读] Autoregressive-Model-Based Methods for Online Time Series Prediction with Missing Values: an Experimental Evaluation

Xi Chen, Hongzhi Wang+3 more|arXiv (Cornell University)|Aug 10, 2019

Data Stream Mining Techniques参考文献 33被引用 5

一句话总结

本文评估了五种基于自回归模型的在线时间序列预测方法在处理缺失值时的表现，比较了基于插补的方法（YW、KF、OGD、AERR）与基线方法（ARLS）。研究发现，简单的插补是一种可靠且有效的方法，而基于采样的方法如AERR和OGD表现较差，尤其在高缺失率或非高斯噪声条件下。

ABSTRACT

Time series prediction with missing values is an important problem of time series analysis since complete data is usually hard to obtain in many real-world applications. To model the generation of time series, autoregressive (AR) model is a basic and widely used one, which assumes that each observation in the time series is a noisy linear combination of some previous observations along with a constant shift. To tackle the problem of prediction with missing values, a number of methods were proposed based on various data models. For real application scenarios, how do these methods perform over different types of time series with different levels of data missing remains to be investigated. In this paper, we focus on online methods for AR-model-based time series prediction with missing values. We adapted five mainstream methods to fit in such a scenario. We make detailed discussion on each of them by introducing their core ideas about how to estimate the AR coefficients and their different strategies to deal with missing values. We also present algorithmic implementations for better understanding. In order to comprehensively evaluate these methods and do the comparison, we conduct experiments with various configurations of relative parameters over both synthetic and real data. From the experimental results, we derived several noteworthy conclusions and shows that imputation is a simple but reliable strategy to handle missing values in online prediction tasks.

研究动机与目标

• 研究在数据包含缺失值时，基于在线自回归模型的方法在时间序列预测中的表现。
• 比较基于插补的方法（YW、KF、OGD、AERR）与非插补策略在真实世界和合成时间序列中的有效性。
• 识别在不同缺失率、噪声水平、时间序列长度和模型阶数下表现稳健的方法。
• 评估底层AR模型特性（如平稳性、趋势稳定性及系数动态变化）对预测精度的影响。
• 确定在缺失数据条件下，基于采样的方法还是传统插补方法更适合在线预测。

提出的方法

• 将五种主流方法——Yule-Walker (YW)、卡尔曼滤波 (KF)、在线梯度下降 (OGD)、属性高效岭回归 (AERR) 和自回归最小二乘法 (ARLS)—适配用于含缺失值的在线AR模型预测。
• 采用插补策略：在应用标准AR估计技术前，使用先前预测值填充缺失值。
• 将YW方法用于通过自相关函数估计AR系数，并利用样本协方差求解Yule-Walker方程。
• 使用KF将时间序列建模为具有隐状态的状态空间过程，通过预测与测量步骤更新估计值。
• 将OGD作为在线线性回归的随机梯度下降方法，通过迭代更新权重，并在缺失数据情况下进行插补。
• 使用AERR作为半插补方法，通过从后验分布中采样来估计系数，而无需完全插补。

实验结果

研究问题

• RQ1 在合成与真实时间序列中，不同基于插补与非插补的方法在不同缺失数据率下的表现如何？
• RQ2 在在线预测设置中，这些方法对噪声方差、时间序列长度和模型阶数的敏感性如何？
• RQ3 在具有非平稳趋势、高波动范围或非高斯噪声的时间序列上，这些方法的表现如何？
• RQ4 与基于采样的或直接估计的方法相比，使用插补是否能显著提升预测精度？
• RQ5 在真实世界数据中，面对时间序列的快速变化和高缺失率，哪种方法最具鲁棒性？

主要发现

• 插补是一种简单但可靠且有效的方法，用于处理在线时间序列预测中的缺失值，优于非插补方法。
• AERR表现始终最差，尤其在高缺失率、大波动范围和高噪声方差条件下，表明基于采样的方法在在线学习中存在局限性。
• OGD整体表现也较差，尤其在真实世界数据中缺失率高且噪声非高斯时，显示出对数据稀疏性和噪声的敏感性。
• KF和YW总体表现更优，但YW在非季节性或趋势不稳定的序列中失效，而KF在噪声非高斯时性能下降。
• 预测的最优模型阶数与真实底层AR模型阶数高度一致，证实了正确设定的重要性。
• 真实数据中预测误差随缺失率呈非线性增长，而合成数据中呈线性增长，凸显了真实世界缺失模式的复杂性。