[论文解读] Benchmarking Multivariate Time Series Classification Algorithms

Alejandro Pasos Ruiz, Michael Flynn+1 more|arXiv (Cornell University)|Jul 26, 2020

Time Series Analysis and Forecasting参考文献 15被引用 13

一句话总结

本论文在26个等长的UEA MTSC数据集上对12种多变量时间序列分类（MTSC）算法进行了基准测试，比较了专用MTSC方法（如深度学习、形状片段和词袋模型）与简单的一元分类器集成方法。主要发现是，HIVE-COTE（一种对每个维度独立应用一元HIVE-COTE分类器的集成方法）在准确率上表现最佳，显著优于动态时间规整（DTW）；MUSE表现强劲但内存开销巨大。

ABSTRACT

Time Series Classification (TSC) involved building predictive models for a discrete target variable from ordered, real valued, attributes. Over recent years, a new set of TSC algorithms have been developed which have made significant improvement over the previous state of the art. The main focus has been on univariate TSC, i.e. the problem where each case has a single series and a class label. In reality, it is more common to encounter multivariate TSC (MTSC) problems where multiple series are associated with a single label. Despite this, much less consideration has been given to MTSC than the univariate case. The UEA archive of 30 MTSC problems released in 2018 has made comparison of algorithms easier. We review recently proposed bespoke MTSC algorithms based on deep learning, shapelets and bag of words approaches. The simplest approach to MTSC is to ensemble univariate classifiers over the multivariate dimensions. We compare the bespoke algorithms to these dimension independent approaches on the 26 of the 30 MTSC archive problems where the data are all of equal length. We demonstrate that the independent ensemble of HIVE-COTE classifiers is the most accurate, but that, unlike with univariate classification, dynamic time warping is still competitive at MTSC.

研究动机与目标

• 评估并比较近期专用多变量时间序列分类（MTSC）算法与简单一元分类器集成方法在真实世界MTSC问题上的性能。
• 评估建模维度间相互作用的算法与独立处理各维度的算法的有效性。
• 确定当前MTSC的最先进水平，并指出多变量时间序列算法开发中的空白。
• 评估数据归一化和时间规整窗口调优对MTSC中DTW性能的影响。
• 为未来MTSC研究提供基于UEA MTSC数据集的基准平台。

提出的方法

• 本研究评估了12种MTSC算法，包括深度学习模型（MLCN、TapNet）、基于形状片段的方法（随机形状片段森林）、词袋模型（MUSE）以及基于距离的方法（DTW变体）。
• 对每种算法，在UEA数据集中26个等长MTSC问题上使用10折交叉验证计算测试准确率和平衡测试准确率。
• 独立集成策略将一元HIVE-COTE分类器分别应用于每个维度，并通过多数投票法合并预测结果。
• 动态时间规整（DTW）以独立处理各维度和多变量形式分别应用，且在有无时间规整窗口约束的情况下进行比较。
• 通过关键差异图和统计分析比较性能，排除多数类预测为最优的那些数据集。
• 测量内存使用量和计算成本，特别是MUSE，其使用无监督符号化和导数特征。

实验结果

研究问题

• RQ1 标准的一元基准方法——动态时间规整（DTW）——在多变量时间序列分类中是否仍具竞争力？
• RQ2 那些将各维度独立处理的集成方法能否超越专为多变量数据设计的算法？
• RQ3 基于深度学习的MTSC模型（如MLCN、TapNet）在准确率和稳定性方面与传统方法或基于形状片段的方法相比如何？
• RQ4 维度间特征交互对分类性能有何影响？哪些算法最有效地利用了这些交互？
• RQ5 内存和计算成本如何影响高级MTSC算法（如MUSE）的可扩展性和实际部署？

主要发现

• HIVE-COTE（一种对每个维度独立应用一元HIVE-COTE分类器的集成方法）在26个MTSC问题上实现了最高的测试准确率。
• 动态时间规整（DTW）仍具竞争力，但显著低于HIVE-COTE，尤其在未调优的全窗口DTW设置下。
• MUSE（基于多变量无监督符号化与导数的时序词提取）的性能与HIVE-COTE相当，但内存开销巨大，平均每个问题达26GB，远超HIVE-COTE的1.6GB。
• 两种深度学习模型MLCN和TapNet表现居中，且结果不一致，偶有完全失败的情况，表明其尚未成为MTSC的最先进方法。
• 尽管未显式建模维度间交互，基于形状片段的方法表现相对良好，表明其在高维或长序列场景中具有潜在应用价值。
• 六个数据集（AF、FM、HB、MI、SRS2、SWJ）的判别信号微弱，甚至多数类预测也优于多数算法，表明数据质量或问题本身存在固有难度。