[论文解读] An Experimental Evaluation of Nearest Neighbour Time Series Classification

Anthony Bagnall, Jason Lines|arXiv (Cornell University)|Jun 18, 2014

Time Series Analysis and Forecasting参考文献 9被引用 41

一句话总结

该论文基于77个数据集评估了最近邻时间序列分类方法，表明使用DTW和交叉验证窗口大小的1-NN显著优于标准基线。研究发现，基于欧氏距离的1-NN极易被更简单的分类器超越，但经过窗口优化的DTW方法表现稳健且更优，而DTW加权并未显著优于窗口优化。

ABSTRACT

Data mining research into time series classification (TSC) has focussed on alternative distance measures for nearest neighbour classifiers. It is standard practice to use 1-NN with Euclidean or dynamic time warping (DTW) distance as a straw man for comparison. As part of a wider investigation into elastic distance measures for TSC~\cite{lines14elastic}, we perform a series of experiments to test whether this standard practice is valid. Specifically, we compare 1-NN classifiers with Euclidean and DTW distance to standard classifiers, examine whether the performance of 1-NN Euclidean approaches that of 1-NN DTW as the number of cases increases, assess whether there is any benefit of setting $k$ for $k$-NN through cross validation whether it is worth setting the warping path for DTW through cross validation and finally is it better to use a window or weighting for DTW. Based on experiments on 77 problems, we conclude that 1-NN with Euclidean distance is fairly easy to beat but 1-NN with DTW is not, if window size is set through cross validation.

研究动机与目标

• 通过实证测试，检验1-NN结合欧氏距离是否仍是时间序列分类（TSC）新算法的有效基线。
• 探究随着训练集规模增大，1-NN结合DTW是否优于1-NN结合欧氏距离。
• 评估通过交叉验证设置k值是否能提升k-NN的性能，相比1-NN。
• 确定通过交叉验证优化DTW扭曲窗口大小是否能提升准确率。
• 比较DTW中窗口化与加权策略在TSC中的有效性。

提出的方法

• 在77个时间序列分类问题上执行超过300万次实验，包括来自UCR存储库的43个数据集、24个先前研究中的数据集以及5个新采集的电能设备数据集。
• 评估了使用欧氏距离、DTW、LCSS、DDTW、WDTW和WDDTW的1-NN分类器，涵盖完整窗口和参数优化的变体。
• 采用10折交叉验证来调优k-NN的k值和DTW的扭曲窗口大小，确保所有方法之间的公平比较。
• 在训练集上对所有分类器进行参数优化，包括WDTW和WDDTW中的加权参数g。
• 使用平均排名和关键差异图报告结果，以评估不同方法之间的统计显著性。
• 在5%显著性水平下进行统计检验，以判断性能差异是否具有实际意义。

实验结果

研究问题

• RQ1 1-NN结合欧氏距离是否仍是新TSC算法的有意义基线，还是极易被更简单的分类器超越？
• RQ2 随着训练样本数量的增加，1-NN结合欧氏距离的准确率是否会趋近于1-NN结合DTW的准确率？
• RQ3 通过交叉验证设置k值是否能带来性能提升，还是1-NN已足够？
• RQ4 通过交叉验证优化DTW扭曲窗口大小是否值得投入？
• RQ5 加权DTW（WDTW）算法是否相比标准DTW（带窗口）有显著性能提升，还是窗口优化已足够？

主要发现

• 未经任何参数调优的1-NN结合欧氏距离极易被标准分类器（如基于树或概率的分类器）超越，因此作为基线表现较弱。
• 使用完整扭曲窗口的1-NN结合DTW显著逊于通过交叉验证优化窗口大小后的1-NN结合DTW，平均准确率提升1.8%。
• 通过交叉验证设置k值并未带来显著性能提升，表明对于基于DTW的分类，1-NN已足够。
• WDTW中的加权方案相比经过交叉验证窗口优化的DTW，未带来显著性能提升，平均准确率差异仅为0.0056。
• LCSS在图像和运动数据上表现出乎意料地优秀，表明子序列匹配技术在某些问题类型中可能比全局对齐更有效。
• 在表现最优的前四名分类器（DTWCV、WDTW、LCSS和DDTW）之间无显著差异，但它们均显著优于完整窗口DTW和欧氏距离。