[論文レビュー] Multivariate Time Series Classification with WEASEL+MUSE

Patrick Schäfer, Ulf Leser|arXiv (Cornell University)|Nov 30, 2017

Time Series Analysis and Forecasting参考文献 19被引用数 71

ひとこと要約

WEASEL+MUSE は、領域に依存しない MTSC 手法で、各次元ごとにスライディングウィンドウから多変量特徴ベクトルを構築し、象徴的フーリエ特徴、特徴選択、ロジスティック回帰を用いて、20 の MTS データセットで最先端の精度と高いロバスト性を実現します。

ABSTRACT

Multivariate time series (MTS) arise when multiple interconnected sensors record data over time. Dealing with this high-dimensional data is challenging for every classifier for at least two aspects: First, an MTS is not only characterized by individual feature values, but also by the interplay of features in different dimensions. Second, this typically adds large amounts of irrelevant data and noise. We present our novel MTS classifier WEASEL+MUSE which addresses both challenges. WEASEL+MUSE builds a multivariate feature vector, first using a sliding-window approach applied to each dimension of the MTS, then extracts discrete features per window and dimension. The feature vector is subsequently fed through feature selection, removing non-discriminative features, and analysed by a machine learning classifier. The novelty of WEASEL+MUSE lies in its specific way of extracting and filtering multivariate features from MTS by encoding context information into each feature. Still the resulting feature set is small, yet very discriminative and useful for MTS classification. Based on a popular benchmark of 20 MTS datasets, we found that WEASEL+MUSE is among the most accurate classifiers, when compared to the state of the art. The outstanding robustness of WEASEL+MUSE is further confirmed based on motion gesture recognition data, where it out-of-the-box achieved similar accuracies as domain-specific methods.

研究の動機と目的

• 次元間の相互作用と位相不変パターンを捉えることで MTSC の課題に取り組む。
• パターンの袋(BOP)原理に基づく、スケーラブルで領域に依存しない MTSC 手法を開発する。
• 次元識別子、微分、およびノイズ耐性のある象徴的特徴を組み込み、精度を向上させる。
• 特徴選択と重み付けを実施して、コンパクトで高く識別力のある特徴セットを作成する。

提案手法

• WEASEL を多変量設定へ拡張し、次元識別子とウィンドウ識別子を語へ結合する。
• 各次元のウィンドウに対して Symbolic Fourier Approximation (SFA) を適用し、ユニグラムとバイグラムを作成する。
• 形状情報を捉えるために微分（1 次差分）を取り入れる。
• 識別力のない特徴を剪定するためにカイ二乗検定を特徴選択に用いる。
• 結果として得られるスパース特徴ベクトル上でロジスティック回帰分類器を訓練し、クラスごとの重み付けにより次元間の相互作用を捉えるように学習する。

実験結果

リサーチクエスチョン

• RQ1 次元識別子と微分を備えた WEASEL に類似した象徴的特徴は、さまざまな分野で MTSC の精度を向上させられるか？
• RQ2 明示的な特徴選択と重み付けは、MTSC の高次元特徴空間の管理に役立つか？
• RQ3 公開ベンチマークおよび実データにおいて、WEASEL+MUSE は他の最先端 MTSC 手法と比較してどの程度の性能か？
• RQ4 ノイズに対して頑健で、少数の学習データセットでも効果的か？
• RQ5 次元間の特徴相互作用が分類性能にどの程度影響を与えるか？

主な発見

データセット	SMTS	LPS	mvARF	DTWi	ARKernel	gRSF	MLSTM-FCN	MUSE
ArabicDigits	96.4%	97.1%	95.2%	90.8%	98.8%	97.5%	99.0%	99.2%
AUSLAN	94.7%	75.4%	93.4%	72.7%	91.8%	95.5%	95.0%	97.0%
CharTrajectories	99.2%	96.5%	92.8%	94.8%	90.0%	99.4%	99.0%	97.3%
CMUsubject16	99.7%	100%	100%	93%	100%	100%	100%	100%
ECG	81.8%	82%	78.5%	79%	82%	88%	87%	88%
Japanese Vowels	96.9%	95.1%	95.9%	96.2%	98.4%	80%	100%	97.6%
KickvsPunch	82%	90%	97.6%	60%	92.7%	100%	90%	100%
Libras	90.9%	90.3%	94.5%	88.8%	95.2%	91.1%	97%	89.4%
NetFlow	97.7%	96.8%	NaN	97.6%	NaN	91.4%	95%	96.1%
UWave	94.1%	98%	95.2%	91.6%	90.4%	92.9%	97%	91.6%
Wafer	96.5%	96.2%	93.1%	97.4%	96.8%	99.2%	99%	99.7%
WalkvsRun	100%	100%	100%	100%	100%	100%	100%	100%
LP1	85.6%	86.2%	82.4%	76%	86%	84%	80%	94%
LP2	76%	70.4%	62.6%	70%	63.4%	66.7%	80%	73.3%
LP3	76%	72%	77%	56.7%	56.7%	63.3%	73%	90%
LP4	89.5%	91%	90.6%	86.7%	96%	86.7%	89%	96%
LP5	65%	69%	68%	54%	47%	45%	65%	69%
PenDigits	91.7%	90.8%	92.3%	92.7%	95.2%	93.2%	97%	91.2%
Shapes	100%	100%	100%	100%	100%	100%	100%	100%
DigitShapes	100%	100%	100%	93.8%	100%	100%	100%	100%
Wins/Ties	4	6	4	2	5	6	8	13
Mean	90.7%	89.8%	90%	84.6%	88.4%	88.7%	92.1%	93.5%
Avg. Rank	4.05	4.05	4.7	6.6	4.35	3.85	2.75	2.45

• WEASEL+MUSE は 20 の公開データセットにおいて最も正確な MTSC 手法のひとつである。
• 平均精度は競争力があり（約93.5%）、MLSTM-FCNに近く、少数データセットで強い性能を示す。
• 次元識別子と微分は、次元間の相互作用と形状情報を捉えることで精度を向上させる。
• カイ二乗特徴選択により、コンパクトで判別力のある特徴セットが得られ、線形時間での訓練を可能にする。
• 本手法は DTW ベースの基準法と比較してガウスノイズに対して頑健であることを示す。
• モーションキャプチャデータでは、WEASEL+MUSE はいくつかのケースでドメイン固有のアプローチと同等の性能を示す。