[论文解读] Monash University, UEA, UCR Time Series Extrinsic Regression Archive

Chang Wei Tan, Christoph Bergmeir+2 more|arXiv (Cornell University)|Jun 19, 2020

Time Series Analysis and Forecasting参考文献 32被引用 11

一句话总结

本文提出了首个时间序列外生回归（TSER）的基准数据集档案，这是一种新型问题类别，涉及从单变量或多变量时间序列中预测单一连续值，与时间序列预测或分类不同。该档案包含19个具有不同长度、缺失值和维度的多样化数据集，并评估了13种算法，发现Rocket（一种最先进的时间序列分类方法）表现最佳，优于传统机器学习和函数型回归方法。

ABSTRACT

Time series research has gathered lots of interests in the last decade, especially for Time Series Classification (TSC) and Time Series Forecasting (TSF). Research in TSC has greatly benefited from the University of California Riverside and University of East Anglia (UCR/UEA) Time Series Archives. On the other hand, the advancement in Time Series Forecasting relies on time series forecasting competitions such as the Makridakis competitions, NN3 and NN5 Neural Network competitions, and a few Kaggle competitions. Each year, thousands of papers proposing new algorithms for TSC and TSF have utilized these benchmarking archives. These algorithms are designed for these specific problems, but may not be useful for tasks such as predicting the heart rate of a person using photoplethysmogram (PPG) and accelerometer data. We refer to this problem as Time Series Extrinsic Regression (TSER), where we are interested in a more general methodology of predicting a single continuous value, from univariate or multivariate time series. This prediction can be from the same time series or not directly related to the predictor time series and does not necessarily need to be a future value or depend heavily on recent values. To the best of our knowledge, research into TSER has received much less attention in the time series research community and there are no models developed for general time series extrinsic regression problems. Most models are developed for a specific problem. Therefore, we aim to motivate and support the research into TSER by introducing the first TSER benchmarking archive. This archive contains 19 datasets from different domains, with varying number of dimensions, unequal length dimensions, and missing values. In this paper, we introduce the datasets in this archive and did an initial benchmark on existing models.

研究动机与目标

• 为时间序列外生回归（TSER）这一与时间序列分类（TSC）和预测（TSF）不同的问题类型，解决缺乏标准化基准资源的问题。
• 通过提供一个精心整理、公开可访问的19个真实世界时间序列数据集档案，激励TSER领域的研究，这些数据集具有缺失值、长度不等和多维等多样化特征。
• 在新的TSER基准档案上，使用最先进的TSC和经典机器学习回归算法建立基线性能。
• 证明现有TSC和回归算法在TSER任务中并非最优，凸显开发新型专用方法的必要性。

提出的方法

• TSER数据集档案包含从多个领域收集的19个数据集，涵盖能源监测、医疗健康（PhysioNet）、气象学（BOM）、世界卫生组织（WHO）、信号处理竞赛以及学术捐赠数据。
• 数据集的维度（1至24）、长度（12至100,000）各不相同，并包含缺失值和长度不等的情况，真实反映了现实世界的复杂性。
• 采用13种算法进行全面评估：3种经典机器学习模型（随机森林、XGBoost、SVR）、2种函数数据分析方法（FPCR、FPCR-B-spline）、4种深度学习模型（ResNet、FCN、InceptionTime、Rocket）以及3种时间序列最近邻方法（1-NN-ED、1-NN-DTW、1-NN-DTWD）。
• 性能通过均方根误差（RMSE）进行衡量，通过5次随机运行的平均值来考虑非确定性影响。
• 使用Friedman检验对平均排名进行统计显著性评估，随后采用Nemenyi事后检验，显著性水平α=0.05时的临界差异（CD）为4.186。
• 使用临界差异图可视化不同算法性能之间的统计差异，非重叠组别表示性能存在显著差距。

实验结果

研究问题

• RQ1 最先进的TSC算法和经典机器学习回归算法在新的TSER基准档案上的表现如何？
• RQ2 在TSER任务中，函数数据分析方法与深度学习模型之间是否存在显著的性能差异？
• RQ3 现有的TSC算法（如Rocket）是否可迁移并有效应用于外生回归任务，还是需要进行适应性改进？
• RQ4 与专用时间序列模型相比，经典回归模型（如XGBoost、随机森林）在TSER中的相对表现如何？
• RQ5 缺失值和不等长时间序列的存在是否显著影响TSER数据集集合中各算法的性能？

主要发现

• Rocket在全部19个数据集上平均排名最高（3.6842），显著优于SVR、1-NN-ED和1-NN-DTWD。
• 经典机器学习模型如XGBoost和随机森林表现具有竞争力，显示出在TSER任务中的强大潜力。
• 未发现最先进的TSC模型与经典回归算法之间存在显著性能差异，表明当前方法尚未针对TSER进行优化。
• 函数数据分析方法（FPCR和FPCR-B-spline）的表现明显劣于深度学习和传统机器学习模型。
• 临界差异图证实，Rocket在统计上显著优于多个基线方法，包括SVR和1-NN-DTWD，其性能差距超过临界差异阈值。
• 结果表明，需要开发新一代专为TSER设计的算法，因为现有方法在这一新兴问题类别中并非最优。