[論文レビュー] Benchmarking Multivariate Time Series Classification Algorithms

Alejandro Pasos Ruiz, Michael Flynn+1 more|arXiv (Cornell University)|Jul 26, 2020

Time Series Analysis and Forecasting参考文献 15被引用数 13

ひとこと要約

本論文は、26個の等長のUEA MTSCアーカイブ問題において、12種類の多次元時系列分類（MTSC）アルゴリズムをベンチマークし、深層学習、シグマリット、ボトムズ・オブ・ワードなどの特化型MTSC手法と、単変量分類器のシンプルなアンサンブルを比較している。主な発見は、各次元ごとに独立して適用された単変量HIVE-COTE分類器のアンサンブルであるHIVE-COTEが、最も高い正確性を達成しており、動的時系列ワープング（DTW）を著しく上回っているのに対し、MUSEは高いメモリコストを伴うが強力な性能を示している。

ABSTRACT

Time Series Classification (TSC) involved building predictive models for a discrete target variable from ordered, real valued, attributes. Over recent years, a new set of TSC algorithms have been developed which have made significant improvement over the previous state of the art. The main focus has been on univariate TSC, i.e. the problem where each case has a single series and a class label. In reality, it is more common to encounter multivariate TSC (MTSC) problems where multiple series are associated with a single label. Despite this, much less consideration has been given to MTSC than the univariate case. The UEA archive of 30 MTSC problems released in 2018 has made comparison of algorithms easier. We review recently proposed bespoke MTSC algorithms based on deep learning, shapelets and bag of words approaches. The simplest approach to MTSC is to ensemble univariate classifiers over the multivariate dimensions. We compare the bespoke algorithms to these dimension independent approaches on the 26 of the 30 MTSC archive problems where the data are all of equal length. We demonstrate that the independent ensemble of HIVE-COTE classifiers is the most accurate, but that, unlike with univariate classification, dynamic time warping is still competitive at MTSC.

研究の動機と目的

• 最近の特化型多次元時系列分類（MTSC）アルゴリズムの性能を、実世界のMTSC問題におけるシンプルな単変量分類器アンサンブルと比較して評価すること。
• 次元間の相互作用をモデル化するアルゴリズムと、次元を独立して扱うアルゴリズムの有効性を評価すること。
• MTSC分野における現在の最先端技術を特定し、多次元時系列向けのアルゴリズム開発におけるギャップを明らかにすること。
• データ正規化およびワープウィンドウチューニングが、多次元設定におけるDTW性能に与える影響を評価すること。
• UEA MTSCアーカイブを用いた今後のMTSC研究のためのベンチマークプラットフォームを提供すること。

提案手法

• 本研究では、深層学習モデル（MLCN、TapNet）、シグマリットベース手法（ランダムシグマリットフォレスト）、ボトムズ・オブ・ワード（MUSE）、距離ベース手法（DTWの変種）を含む12種類のMTSCアルゴリズムを評価した。
• 各アルゴリズムについて、UEAアーカイブの26個の等長MTSC問題において10-fold交差検証を実施し、テスト正確度およびバランステスト正確度を算出した。
• 独立アンサンブル戦略では、各次元に対して単変量HIVE-COTE分類器を別々に適用し、予測結果を多数決によって統合した。
• 動的時系列ワープング（DTW）は、各次元ごとに独立して適用する場合と多次元形式で適用する場合の両方を検討し、ワープウィンドウ制約の有無を含めた。
• 性能比較には、クリティカルディファレンス図と統計的分析を用い、母数予測が最適となるデータセットは除外した。
• 特に、非教師あり記号化と導出特徴を用いるMUSEのメモリ使用量と計算コストを測定した。

実験結果

リサーチクエスチョン

• RQ1 標準的な単変量ベンチマークである動的時系列ワープング（DTW）は、多次元時系列分類においても依然として競争力を持つのか？
• RQ2 各次元を独立して処理するアンサンブル手法は、多次元データに特化して設計されたアルゴリズムを上回る性能を示せるのか？
• RQ3 深層学習ベースのMTSCモデル（例：MLCN、TapNet）は、従来の手法やシグマリットベース手法と比較して、正確性と安定性の面でどのように差がつくのか？
• RQ4 次元間特徴相互作用の影響は分類性能にどのように現れ、どのアルゴリズムがそれを最も効果的に活用しているのか？
• RQ5 メモリ使用量と計算コストは、MUSEのような高度なMTSCアルゴリズムのスケーラビリティおよび実用的導入にどのように影響を与えるのか？

主な発見

• 各次元ごとに独立して適用された単変量HIVE-COTE分類器のアンサンブルであるHIVE-COTEは、26のMTSC問題において最高のテスト正確度を達成した。
• 動的時系列ワープング（DTW）は依然として競争力があるが、特にチューニングなしのフルウィンドウDTWではHIVE-COTEに著しく劣っている。
• MUSE（Word extraction for time series with Multivariate Unsupervised Symbols and dErivatives）はHIVE-COTEと同等の性能を示したが、平均して1問題あたり26GBの巨大なメモリオーバーヘッドを伴い、HIVE-COTEの1.6GBと比べて顕著に高い。
• 2つの深層学習モデル、MLCNとTapNetは中程度の成績を示し、一貫性に欠け、ときには完全に失敗する場合もあり、MTSC分野における最先端技術ではないことが示された。
• シグマリットベース手法は、次元間相互作用を明示的にモデル化していないにもかかわらず、比較的高い性能を示しており、高次元または長い系列においても有用である可能性が示唆された。
• 6つのデータセット（AF、FM、HB、MI、SRS2、SWJ）は、陽性クラス予測が最適である場合でも多くのアルゴリズムを上回る性能を示しており、識別的信号が極めて弱いことが判明。これは、データ品質や問題自体の本質的難易度に起因する可能性がある。