[论文解读] From BOP to BOSS and Beyond: Time Series Classification with Dictionary Based Classifiers

James Large, Anthony Bagnall+2 more|arXiv (Cornell University)|Sep 18, 2018

Time Series Analysis and Forecasting被引用 8

一句话总结

本文通过剖析BOP与BOSS两种基于词典的时间序列分类（TSC）算法之间的四个关键差异，研究了二者性能差距的成因。提出了一种新方法SP-HI，将BOSS与空间金字塔及直方图相似度相结合，实现了最先进水平的分类准确率——显著优于标准BOSS与各类基准方法，且与最佳形状子方法及HIVE-COTE相当。

ABSTRACT

A family of algorithms for time series classification (TSC) involve running a sliding window across each series, discretising the window to form a word, forming a histogram of word counts over the dictionary, then constructing a classifier on the histograms. A recent evaluation of two of this type of algorithm, Bag of Patterns (BOP) and Bag of Symbolic Fourier Approximation Symbols (BOSS) found a significant difference in accuracy between these seemingly similar algorithms. We investigate this phenomenon by deconstructing the classifiers and measuring the relative importance of the four key components between BOP and BOSS. We find that whilst ensembling is a key component for both algorithms, the effect of the other components is mixed and more complex. We conclude that BOSS represents the state of the art for dictionary based TSC. Both BOP and BOSS can be classed as bag of words approaches. These are particularly popular in Computer Vision for tasks such as image classification. Converting approaches from vision requires careful engineering. We adapt three techniques used in Computer Vision for TSC: Scale Invariant Feature Transform; Spatial Pyramids; and Histrogram Intersection. We find that using Spatial Pyramids in conjunction with BOSS (SP) produces a significantly more accurate classifier. SP is significantly more accurate than standard benchmarks and the original BOSS algorithm. It is not significantly worse than the best shapelet based approach, and is only outperformed by HIVE-COTE, an ensemble that includes BOSS as a constituent module.

研究动机与目标

• 研究尽管BOP与BOSS在结构上相似，为何BOSS能显著优于BOP。
• 分离并评估BOP与BOSS之间四个关键算法差异的相对影响：集成策略、傅里叶变换、数据驱动离散化以及距离度量。
• 将计算机视觉技术——空间金字塔、直方图相似度与SIFT——应用于改进基于词典的TSC方法。
• 开发并评估一种新型分类器SP-HI，将BOSS与空间金字塔及直方图相似度相结合，以提升分类准确率。
• 提供实证证据，说明基于词典的分类器在何种情况下最为有效，特别是针对具有重复模式的长时序、噪声数据。

提出的方法

• 通过系统性地改变其四个核心组件（集成策略、傅里叶变换、数据驱动离散化、距离度量）来剖析BOP与BOSS。
• 通过将时序序列划分为分层子窗口，将空间金字塔应用于BOSS，为每一层生成独立的直方图。
• 引入直方图相似度（HI）距离作为直方图表示之间的相似度度量，以提升对噪声与尺度变化的鲁棒性。
• 通过将BOSS与空间金字塔及直方图相似度距离相结合，构建新型分类器SP-HI。
• 在包含128个时序数据集的基准测试集上，使用10折交叉验证与显著性检验评估所有变体。
• 通过在多个参数设置下进行集成以提升泛化能力，每个基分类器均被存储以供推理。

实验结果

研究问题

• RQ1 集成策略、傅里叶变换、数据驱动离散化与距离度量对BOP与BOSS性能差距的相对贡献是什么？
• RQ2 计算机视觉技术（如空间金字塔与直方图相似度）能否提升基于词典的TSC性能？
• RQ3 SP-HI方法（将BOSS与空间金字塔及直方图相似度结合）是否显著优于标准BOSS及其他基准方法？
• RQ4 SP-HI方法在何种类型的时序数据中表现尤为突出，特别是在存在噪声或复杂模式的情况下？
• RQ5 SP-HI方法在多样化数据集上与最先进TSC方法（如ST-HESCA与HIVE-COTE）相比表现如何？

主要发现

• 对不同参数值进行集成可显著提升BOP与BOSS的性能，但仅集成策略在两种算法中均具有普遍增益。
• BOSS的距离度量对BOSS性能至关重要，但会降低BOP的准确率，表明算法组件之间存在非线性相互作用。
• SP-HI方法（将BOSS与空间金字塔及直方图相似度结合）的准确率显著高于标准BOSS与所有标准基准方法。
• SP-HI的性能不显著逊于ST-HESCA（最佳形状子方法），仅被HIVE-COTE超越，而HIVE-COTE本身包含BOSS作为组件。
• 空间金字塔组件在判别性模式被混杂噪声掩盖的数据集中表现更优，表明其在复杂、长时序数据中具有实用价值。
• 尽管SP-HI提升了准确率，但其在金字塔各层级存储多个直方图表示所导致的内存开销可能限制其实际应用，除非进一步优化。