[论文解读] Distributed and parallel time series feature extraction for industrial big data applications

Maximilian Christ, Andreas W. Kempa-Liehr+1 more|arXiv (Cornell University)|Oct 25, 2016

Fault Detection and Control Systems参考文献 14被引用 233

一句话总结

本论文提出 FRESH，一种可扩展的基于特征的时间序列提取与筛选方法，使用非参数假设检验和 Benjamini-Yekutieli FDR 控制来为分类或回归在工业大数据中选择相关特征。

ABSTRACT

The all-relevant problem of feature selection is the identification of all strongly and weakly relevant attributes. This problem is especially hard to solve for time series classification and regression in industrial applications such as predictive maintenance or production line optimization, for which each label or regression target is associated with several time series and meta-information simultaneously. Here, we are proposing an efficient, scalable feature extraction algorithm for time series, which filters the available features in an early stage of the machine learning pipeline with respect to their significance for the classification or regression task, while controlling the expected percentage of selected but irrelevant features. The proposed algorithm combines established feature extraction methods with a feature importance filter. It has a low computational complexity, allows to start on a problem with only limited domain knowledge available, can be trivially parallelized, is highly scalable and based on well studied non-parametric hypothesis tests. We benchmark our proposed algorithm on all binary classification problems of the UCR time series classification archive as well as time series from a production line optimization project and simulated stochastic processes with underlying qualitative change of dynamics.

研究动机与目标

• 在工业环境中实现高效、可扩展的多变量时间序列特征提取与选择。
• 提出一个特征提取框架，结合既定的特征映射与显著性筛选步骤。
• 在选择大规模特征集与数据集的特征时，控制误提取率。
• 实现可并行的实现，适用于分布式数据环境。

提出的方法

• 对多变量时间序列数据应用一套全面的111种时间序列特征映射。
• 为每个特征执行专门的假设检验，以评估其与目标（二元/连续）相关性。
• 使用非参数检验（Fisher、KS、Kendall）根据数据域来计算 p 值。
• 使用 Benjamini-Yekutieli 程序将特征 p 值进行汇总，以控制误提取率（FER）。
• 提供带 PCA 基 dimensionality reduction 的变体，以减少特征冗余（FRESH_PCAb、FRESH_PCAa）。
• 讨论并行化和分布式计算，以确保在大数据场景中的可扩展性。

实验结果

研究问题

• RQ1 一个通用、可扩展的特征提取管道是否能够在大规模时间序列特征集上与最先进的基于形状的方法竞争？
• RQ2 基于假设检验的特征选择方法（FRESH）在控制错误发现的同时是否能提升工业大数据的预测性能？
• RQ3 基于 PCA 的冗余度降低对特征选择和分类精度有何影响？
• RQ4 FRESH 在多样数据集上的表现如何，包括 UCR 时间序列存档和工业生产数据？
• RQ5 该方法是否适用于分布式/并行实现，以进行大规模时间序列分析？

主要发现

• FRESH及其 PCA 变体在许多数据集上与 AdaBoost 和 DTW_NN 取得了有竞争力的准确度，在若干 UCR 与工业数据任务上甚至优于基线。
• 在评估中，表现最佳的分类器是 AdaBoost 和 DTW_NN，在 32 个数据集（全部来自 UCR）中达到最高的平均准确度。
• 基于 FRESH 的管道通常提高或保持随机森林分类器的准确性，同时减少特征集大小。
• 所有基于特征的方法随时间序列长度线性缩放；FRESH 和 FRESH_PCAa 按特征数量线性缩放，支持大数据可扩展性。
• FRESH 设计为分布式和可并行化，FER 由 Benjamini-Yekutieli 程序控制，用于相关假设的依赖。
• 在 iPRODICT 工业数据中，基于 Boruta 的方法在特征筛选方法中获得了最高的平均准确度（约 72%），而未筛选的 AdaBoost 仍具竞争力。