[論文レビュー] An Experimental Evaluation of Nearest Neighbour Time Series Classification

Anthony Bagnall, Jason Lines|arXiv (Cornell University)|Jun 18, 2014

Time Series Analysis and Forecasting参考文献 9被引用数 41

ひとこと要約

本論文は77のデータセットを用いて最近傍時系列分類を評価し、DTWと交差検証によるウィンドウサイズ最適化を施した1-NNが、標準的なベースラインを著しく上回ることを示している。ユークリッド距離を用いた1-NNは、単純な分類器に容易に劣ることが判明したが、最適化されたウィンドウを用いたDTWは頑健で優れた性能を示し、DTWの重み付けはウィンドウ最適化に比べて顕著な利点を示さなかった。

ABSTRACT

Data mining research into time series classification (TSC) has focussed on alternative distance measures for nearest neighbour classifiers. It is standard practice to use 1-NN with Euclidean or dynamic time warping (DTW) distance as a straw man for comparison. As part of a wider investigation into elastic distance measures for TSC~\cite{lines14elastic}, we perform a series of experiments to test whether this standard practice is valid. Specifically, we compare 1-NN classifiers with Euclidean and DTW distance to standard classifiers, examine whether the performance of 1-NN Euclidean approaches that of 1-NN DTW as the number of cases increases, assess whether there is any benefit of setting $k$ for $k$-NN through cross validation whether it is worth setting the warping path for DTW through cross validation and finally is it better to use a window or weighting for DTW. Based on experiments on 77 problems, we conclude that 1-NN with Euclidean distance is fairly easy to beat but 1-NN with DTW is not, if window size is set through cross validation.

研究の動機と目的

• 時系列分類（TSC）における新しいアルゴリズムのベースラインとして、ユークリッド距離を用いた1-NNが有効であるか、他の分類器に容易に劣るのかを実験的に検証すること。
• 訓練データ数が増加するに従い、DTWを用いた1-NNがユークリッド距離を用いた1-NNを上回るのかを調査すること。
• k-NNにおけるkの値を交差検証で設定することで、1-NNに比べて性能が向上するのかを評価すること。
• DTWのワーピングウィンドウサイズを交差検証で最適化することで、分類精度が向上するのかを検証すること。
• TSCにおけるDTWのウィンドウ化と重み付けの有効性を比較すること。

提案手法

• UCRリポジトリの43件、先行研究の24件、および5件の新規電気機器データセットを含む77の時系列分類問題に対して、合計300万回以上の実験を実施した。
• ユークリッド距離、DTW、LCSS、DDTW、WDTW、WDDTWを用いた1-NN分類器を評価し、フルウィンドウおよびパラメータ最適化済みバージョンを含めた。
• k-NNのk値とDTWのワーピングウィンドウサイズのチューニングに10-fold交差検証を用い、すべての手法間で公平な比較を確保した。
• WDTWおよびWDDTWにおける重みパラメータgを含む、すべての分類器のパラメータ最適化を訓練セット上で実施した。
• 平均順位と臨界差ダイアグラムを用いて、手法間の統計的有意性を評価した。
• 性能差が有意であるかどうかを5%の有意水準で統計的検定により評価した。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド距離を用いた1-NNは、新しいTSCアルゴリズムの意味のあるベースラインであるのか、それとも単純な分類器に容易に劣るのか？
• RQ2 訓練データ数が増加するに従い、ユークリッド距離を用いた1-NNの正解率は、DTWを用いた1-NNに収束するのか？
• RQ3 k-NNにおけるkの値を交差検証で設定することは有益なのか、それとも1-NNで十分なのか？
• RQ4 DTWのワーピングウィンドウサイズを交差検証で最適化することは価値があるのか？
• RQ5 重み付きDTW（WDTW）アルゴリズムは、ウィンドウを最適化した標準DTWに比べて顕著な性能向上をもたらすのか、それともウィンドウ最適化で十分なのか？

主な発見

• ユークリッド距離を用いた1-NNは、パラメータチューニングなしで、標準的な分類器（例えば、木構造ベースや確率的分類器）に容易に劣り、弱いベースラインであることが判明した。
• 交差検証によるウィンドウサイズ最適化が施された1-NN（DTW）は、フルワーピングウィンドウを用いた1-NN（DTW）を著しく上回り、平均正解率で1.8%の向上を示した。
• k-NNにおけるkの値を交差検証で設定しても、1-NNに比べて顕著な利点が得られず、DTWベースの分類において1-NNが十分であることが示された。
• WDTWにおける重み付けスキームは、交差検証によるウィンドウサイズ最適化を施したDTWに比べて、平均正解率差がわずか0.0056にとどまり、顕著な向上は見られなかった。
• LCSSは画像およびモーショングラフィックスデータにおいて驚くほど優れた性能を示し、特定の問題タイプでは部分列マッチング手法がグローバルアラインメント手法よりも効果的である可能性を示唆した。
• 上位4つの分類器（DTWCV、WDTW、LCSS、DDTW）間に有意な差はなく、これらはすべてフルウィンドウDTWおよびユークリッド距離を著しく上回った。