[论文解读] Fast Randomized Model Generation for Shapelet-Based Time Series Classification

Daniel Gordon, Danny Hendler+1 more|arXiv (Cornell University)|Sep 23, 2012

Time Series Analysis and Forecasting参考文献 10被引用 16

一句话总结

本文提出SALSA-R，一种用于快速基于形状子序列的时间序列分类的随机化算法，该算法从整个形状子序列空间中均匀随机采样形状子序列，仅需评估极小部分可能的形状子序列即可实现高准确率。通过利用高质量形状子序列在空间中的聚类分布特性，SALSA-R实现快速收敛——即使在大规模数据集上，也能在几分钟内而非数天内获得接近最先进水平的准确率模型。

ABSTRACT

Time series classification is a field which has drawn much attention over the past decade. A new approach for classification of time series uses classification trees based on shapelets. A shapelet is a subsequence extracted from one of the time series in the dataset. A disadvantage of this approach is the time required for building the shapelet-based classification tree. The search for the best shapelet requires examining all subsequences of all lengths from all time series in the training set. A key goal of this work was to find an evaluation order of the shapelets space which enables fast convergence to an accurate model. The comparative analysis we conducted clearly indicates that a random evaluation order yields the best results. Our empirical analysis of the distribution of high-quality shapelets within the shapelets space provides insights into why randomized shapelets sampling is superior to alternative evaluation orders. We present an algorithm for randomized model generation for shapelet-based classification that converges extremely quickly to a model with surprisingly high accuracy after evaluating only an exceedingly small fraction of the shapelets space.

研究动机与目标

• 解决基于形状子序列分类树训练的高计算成本问题，该问题在中等规模数据集上可能需要数天时间。
• 克服YK算法中对所有子序列进行穷举搜索的低效性，该方法需检查数百万个形状子序列。
• 探究其他评估顺序（如二分查找、按长度排序）是否在收敛速度和准确率方面优于随机采样。
• 开发一种自终止算法，在模型质量稳定后停止搜索，从而在不牺牲性能的前提下减少计算量。
• 证明随机采样更优，原因在于高质量形状子序列在形状子序列空间中分布非均匀。

提出的方法

• 提出SALSA-R，一种自终止算法，从完整形状子序列空间中均匀随机采样形状子序列，不考虑其长度或位置。
• 以随机顺序评估形状子序列，并监控新采样形状子序列的质量（信息增益与间隔）。
• 一旦形状子序列质量的提升低于阈值（ε = 0.01），即表示收敛，停止搜索。
• 缓存每个已评估形状子序列到所有时间序列的距离，以加速后续树的构建。
• 基于形状子序列划分类别的能力，为每个形状子序列预计算一个阈值，从而通过距离比较实现快速分类。
• 将SALSA-R与原始YK算法及先前的剪枝方法进行比较，使用准确率、评估形状子序列数量和运行时间作为指标。

实验结果

研究问题

• RQ1 与系统性或基于二分查找的评估顺序相比，形状子序列的随机评估顺序是否能更快收敛至高准确率模型？
• RQ2 基于随机采样的自终止算法能否在仅评估少量形状子序列的情况下，实现与全搜索方法相当的准确率？
• RQ3 考虑到高质量形状子序列并非均匀分布，为何随机采样比结构化搜索顺序更有效？
• RQ4 评估较少形状子序列是否会导致过拟合或准确率下降？SALSA-R如何避免此问题？
• RQ5 SALSA-R的性能随数据集规模增大如何变化？其相较于先前方法是否保持显著的速度优势？

主要发现

• SALSA-R在所有测试数据集上的模型准确率均与先前方法（如YK或基于剪枝的方法）相差不超过2%，且在三个数据集（coffee、mallat、wheat）上实现性能提升。
• 平均而言，SALSA-R仅评估形状子序列空间中0.1%至1%的形状子序列——例如，在mallat数据集中仅评估1.8e4个形状子序列（总量为1.0e7），同时保持高准确率。
• 该算法将训练时间从数天（例如，mallat数据集超过1.2e6秒）缩短至1000秒以内（例如，mallat数据集在NI=100k时为954秒），即使在大规模数据集上亦如此。
• 对于小规模数据集（如arrowhead和coffee），SALSA-R在255秒内即达到接近最优的准确率（如78.4% vs. 80.0%），而先前方法需超过2400秒。
• 准确率的标准差较低（如1.3–5.6%），表明在多次运行中表现一致，且对随机采样具有鲁棒性。
• 研究发现，若考虑过多形状子序列，可能引发过拟合，表明仅需一个小型但高质量的形状子序列子集即可实现最优性能。