[論文レビュー] MrSQM: Fast Time Series Classification with Symbolic Representations

Thach Le Nguyen, Georgiana Ifrim|arXiv (Cornell University)|Sep 2, 2021

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

MrSQM は、複数の記号的表現（SAX および SFA）と効率的な逐次マイニングを用いて、最小限の計算コストで判別性の高い特徴を抽出する高速な時系列分類器である。ROCKET や MiniROCKET と同等の最先端の精度を達成しながら、学習および予測時間を 2 時間未塔に短縮しており、既存の記号的手法（例：MrSEQL や HIVE-COTE）に比べて著しく高速である。また、設定可能な記号的変換を用いることで、速度と精度のトレードオフを調整可能にしている。

ABSTRACT

Symbolic representations of time series have proven to be effective for time series classification, with many recent approaches including SAX-VSM, BOSS, WEASEL, and MrSEQL. The key idea is to transform numerical time series to symbolic representations in the time or frequency domain, i.e., sequences of symbols, and then extract features from these sequences. While achieving high accuracy, existing symbolic classifiers are computationally expensive. In this paper we present MrSQM, a new time series classifier which uses multiple symbolic representations and efficient sequence mining, to extract important time series features. We study four feature selection approaches on symbolic sequences, ranging from fully supervised, to unsupervised and hybrids. We propose a new approach for optimal supervised symbolic feature selection in all-subsequence space, by adapting a Chi-squared bound developed for discriminative pattern mining, to time series. Our extensive experiments on 112 datasets of the UEA/UCR benchmark demonstrate that MrSQM can quickly extract useful features and learn accurate classifiers with the classic logistic regression algorithm. Interestingly, we find that a very simple and fast feature selection strategy can be highly effective as compared with more sophisticated and expensive methods. MrSQM advances the state-of-the-art for symbolic time series classifiers and it is an effective method to achieve high accuracy, with fast runtime.

研究の動機と目的

• 既存の手法に比べて高い計算コストを伴わない記号的表現を活用する、高速で高精度な時系列分類器の開発。
• 記号的時系列分類において、複雑で高価な代替手法よりも単純な特徴選択戦略が優れるかどうかの調査。
• 使用する記号的表現の数および種別を制御することで、速度と精度のトレードオフを調整可能にする。
• 線形分類器を用いた効率的な記号的特徴抽出が、深層学習やアンサンブルモデルの性能に匹敵または上回ることの実証。

提案手法

• MrSQM は、元の時系列データを記号的系列に変換するために、複数の記号的変換（SAX および SFA）を適用する。
• 学習データ内のすべての部分列に対して、効率的な逐次マイニングを実行し、判別性の高いパターンを同定する。
• 新規の教師あり特徴選択手法を提案。判別性の高いパターンマイニングから得られるカイ二乗境界を時系列に適応させ、有望でない特徴の高速な除外を可能にした。
• ハイブリッド、教師あり、非教師ありの特徴選択戦略をサポートし、単純な戦略が非常に有効であることが示された。
• 最終分類器としてロジスティック回帰を用い、フィルタリングされた大規模な特徴空間を活用して高精度を達成する。
• ユーザーが使用する記号的表現の数および種別（例：MrSQM-k1、MrSQM-k5）を制御可能にすることで、速度と精度のバランスを調整できる。

実験結果

リサーチクエスチョン

• RQ1 高速な記号的変換と単純な特徴選択戦略の組み合わせが、時系列分類において高い精度を達成できるか。
• RQ2 ROCKET や MiniROCKET、HIVE-COTE といった最先端の手法と比較して、MrSQM の精度および実行時間のパフォーマンスはどの程度か。
• RQ3 複数の記号的表現（SAX および SFA）を用いることで、特徴の多様性と分類精度にどのような影響を与えるか。
• RQ4 すべての部分列空間における効率的な特徴選択が、より複雑なフィルタリング手法を上回る性能を示せるか。
• RQ5 性能を損なうことなく、記号的分類器において速度と精度のトレードオフをどの程度制御できるか。

主な発見

• MrSQM は 112 個の UEA/UCR ベンチマークデータセットにおいて、最先端の精度を達成し、ROCKET との平均精度差はたった 0.002%、MiniROCKET との差は 0.007% にとどまる。
• MrSQM は 112 個すべてのデータセットの学習および予測を 1.5 時間で完了し、MrSEQL よりも著しく高速（10 時間）であり、ROCKET と同等の 2.5 時間に近いが、WEASEL や MrSEQL よりも高い精度を示している。
• MrSQM-k1 のバージョンはわずか 20 分（0.33 時間）で高い精度を達成し、MiniROCKET よりも高速であり、その精度は同等で、対比較での精度相関係数は 0.97 に達する。
• 単純な特徴選択戦略が、より複雑な手法を上回る性能を示し、優れたパフォーマンスを達成するには高度なフィルタリングが必ずしも必要でないことを示している。
• 本手法は、記号的表現と効率的なマイニング、線形分類器の組み合わせが、InceptionTime や HIVE-COTE といった深層学習モデルやアンサンブルモデルと同等またはそれ以上の精度を達成できることを示しているが、学習時間が桁違いに速い。
• MrSQM の性能は ROCKET や MiniROCKET と非常に競合可能であり、SFA を通じた周波数ドメイン特徴が記号的形で効果的に捉えられ、活用されていることが示唆される。