[論文レビュー] Bake off redux: a review and experimental evaluation of recent time series classification algorithms

Matthew Middlehurst, Patrick Schäfer+1 more|arXiv (Cornell University)|Apr 25, 2023

Time Series Analysis and Forecasting参考文献 81被引用数 11

ひとこと要約

拡張された UCR アーカイブと 30 の新データセットを横断する最近の単変時間系列分類アルゴリズムを評価する redux bake-off。Hydra+MultiROCKET と HIVE-COTESv2 をトップパフォーマーとして特定。

ABSTRACT

In 2017, a research paper compared 18 Time Series Classification (TSC) algorithms on 85 datasets from the University of California, Riverside (UCR) archive. This study, commonly referred to as a `bake off', identified that only nine algorithms performed significantly better than the Dynamic Time Warping (DTW) and Rotation Forest benchmarks that were used. The study categorised each algorithm by the type of feature they extract from time series data, forming a taxonomy of five main algorithm types. This categorisation of algorithms alongside the provision of code and accessible results for reproducibility has helped fuel an increase in popularity of the TSC field. Over six years have passed since this bake off, the UCR archive has expanded to 112 datasets and there have been a large number of new algorithms proposed. We revisit the bake off, seeing how each of the proposed categories have advanced since the original publication, and evaluate the performance of newer algorithms against the previous best-of-category using an expanded UCR archive. We extend the taxonomy to include three new categories to reflect recent developments. Alongside the originally proposed distance, interval, shapelet, dictionary and hybrid based algorithms, we compare newer convolution and feature based algorithms as well as deep learning approaches. We introduce 30 classification datasets either recently donated to the archive or reformatted to the TSC format, and use these to further evaluate the best performing algorithm from each category. Overall, we find that two recently proposed algorithms, Hydra+MultiROCKET and HIVE-COTEv2, perform significantly better than other approaches on both the current and new TSC problems.

研究の動機と目的

• 新しいデータアーカイブとアルゴリズムカテゴリに跨って、オリジナルの bake-off（2017年）以降の TSC の展開を要約する。
• 新しい最先端アルゴリズムの性能を、以前のカテゴリ別ベストと比較評価する。
• 一般化と頑健性を検証するため、30 の新しい単変データセットを用いて評価を拡張する。
• 今後の比較を促進するため、再現可能な実験プロトコルとデータセットを提供する。

提案手法

• 最近の展開を反映するため、元の分類法を拡張し、3つの新しいアルゴリズムカテゴリを追加する。
• UCR アーカイブの112の等長 UTSC 問題に対して、訓練/テストのために30回のリサンプルを用いてアルゴリズムを評価する。
• 多様な領域からの30の新しい単変データセットを取り入れ、カテゴリリーダーを新規データで評価する。
• 1-NN DTWをベースラインとして使用し、各カテゴリ内のベストインカテゴリ手法と比較する。
• ACC、BALACC、AUROC、NLLを用いて性能を報告し、ペアワイズおよびクリティカル・ディファレンス型の解析を行う。
• aeon ツールキットの統合と公開リポジトリを通じて再現性アーティファクトを提供する。

Figure 1: The sorted original label values for all discretised regression datasets. Each point is a label for a case, and its colour is the class it is part of for the new classification version.

実験結果

リサーチクエスチョン

• RQ1 拡張された UCR UTSC データセットで、どの最近の TSC アルゴリズムが以前のカテゴリ別のベストを上回るか？
• RQ2 距離ベース、特徴ベース、区間ベース、辞書ベース、畳み込みベース、深層学習、ハイブリッド法などの新しい手法は、新データで相対的なランキングを維持または改善するか？
• RQ3 各カテゴリの最も性能の高いアルゴリズムは、30 の新規追加 UTSC データセットでどのような成績を示すか？
• RQ4 カテゴリ間の性能差を生み出す要因は何か（データ特性、特徴表現、アンサンブル）？

主な発見

ACC	BALACC	AUROC	NLL
PF	0.847	0.829	0.943	0.624

• 最近提案された 2 つのアルゴリズム、Hydra+MultiROCKET および HIVE-COTEv2 は、現在および新規の TSC 問題において他の手法を大幅に上回っている。
• 距離ベースの PF は、複数の指標（ACC、BALACC、AUROC、NLL）で 1-NN DTW および EE を上回る。
• FreshPRINCE（TSFresh と rotation forest）などの特徴ベースのパイプラインは高い精度を達成し、従来のベースラインを上回る。
• 新しいデータセットが評価を広げ、トップパフォーマーの一般性を多様な領域で裏付ける。

Figure 2: The $30$ new univariate datasets showing one representative series for each class.