[論文レビュー] Distributed and parallel time series feature extraction for industrial big data applications

Maximilian Christ, Andreas W. Kempa-Liehr+1 more|arXiv (Cornell University)|Oct 25, 2016

Fault Detection and Control Systems参考文献 14被引用数 233

ひとこと要約

本論文は、FRESHを提案します。非パラメトリック仮説検定とBenjamini-YekutieliのFDR制御を用いて、工業系ビッグデータの分類または回帰に関連する特徴を選択する、スケーラブルで特徴量ベースの時系列抽出とフィルタリング手法です。

ABSTRACT

The all-relevant problem of feature selection is the identification of all strongly and weakly relevant attributes. This problem is especially hard to solve for time series classification and regression in industrial applications such as predictive maintenance or production line optimization, for which each label or regression target is associated with several time series and meta-information simultaneously. Here, we are proposing an efficient, scalable feature extraction algorithm for time series, which filters the available features in an early stage of the machine learning pipeline with respect to their significance for the classification or regression task, while controlling the expected percentage of selected but irrelevant features. The proposed algorithm combines established feature extraction methods with a feature importance filter. It has a low computational complexity, allows to start on a problem with only limited domain knowledge available, can be trivially parallelized, is highly scalable and based on well studied non-parametric hypothesis tests. We benchmark our proposed algorithm on all binary classification problems of the UCR time series classification archive as well as time series from a production line optimization project and simulated stochastic processes with underlying qualitative change of dynamics.

研究の動機と目的

• 産業現場における多変量時系列の効率的でスケーラブルな特徴抽出と選択を動機づける。
• 確立された特徴マッピングと有意性フィルタリング手順を組み合わせた特徴抽出フレームワークを提案する。
• 大規模な特徴セットとデータセットにわたる特徴選択時の偽抽出率を制御する。
• 分散データ環境に適した並列実装を可能にする。

提案手法

• 多変量時系列データに対して111個の包括的な時系列特徴マッピングを適用する。
• 各特徴ごとにターゲット（バイナリまたは連続）への関連性を評価する専用の仮説検定を実施する。
• データのコード域に合わせたノンパラメトリック検定（Fisher, KS, Kendall）を用いてp値を算出する。
• 偽抽出率(FER)を制御するためにBenjamini-Yekutieli手順で特徴のp値を集約する。
• 特徴冗長性を減らすPCAベースの次元削減を備えたバリアントを提供（FRESH_PCAb, FRESH_PCAa）。
• 大規模データ環境でのスケーラビリティを確保するための並列化と分散計算について議論する。

実験結果

リサーチクエスチョン

• RQ1 普遍的でスケーラブルな特徴抽出パイプラインは、大規模な時系列特徴セットに対して最先端の形状ベース手法と競合できるか。
• RQ2 仮説検定ベースの特徴選択アプローチ（FRESH）は、産業用ビッグデータで偽発見を抑制しつつ予測性能を向上させるか。
• RQ3 PCAベースの冗長性削減が特徴選択と分類精度に与える影響はどの程度か。
• RQ4 UCR時系列アーカイブを含む多様なデータセットおよび産業生産データに対してFRESHはどう機能するか。
• RQ5 この手法は大規模時系列分析のための分散/並列実装に適しているか。

主な発見

• FRESHとそのPCAバリアントは、多くのデータセットでAdaBoostおよびDTW_NNと競合する精度を達成し、いくつかのUCRおよび産業データタスクでいくつかのベースラインを上回った。
• 最も性能の良い分類器はAdaBoostとDTW_NNで、評価で32データセット中21データセット（すべてUCR由来）で最高の平均精度を達成。
• FRESHベースのパイプラインはデータセットを跨いでRandom Forest分類器の精度を向上または維持することが多く、同時に特徴量セットのサイズを削減する。
• 全ての特徴ベースの手法は時系列長に対して線形にスケールする；FRESHとFRESH_PCAaは特徴量数に対して線形にスケールし、ビッグデータのスケーラビリティを支持する。
• FRESHは分散・並列化設計されており、依存仮説に対してBenjamini-Yekutieli手法でFERを制御する。
• iPRODICTの産業データでは、特徴フィルタリング手法の中でBorutaベースのアプローチが最も高い平均精度を達成（約72%）、一方でフィルタリングなしのAdaBoostも競争力を維持した。