[论文解读] Interpretable Time Series Classification using All-Subsequence Learning and Symbolic Representations in Time and Frequency Domains.

Thach Le Nguyen, Severin Gsponer+2 more|arXiv (Cornell University)|Aug 12, 2018

Time Series Analysis and Forecasting参考文献 21被引用 6

一句话总结

本文提出SAX-SFA-SEQL，一种多分辨率、多域的时间序列分类器，通过SEQL的贪心特征选择方法，结合时间域（SAX）和频率域（SFA）的符号表示。其性能达到SOTA水平，与COTE和FCN相当，但推理时间显著缩短，且通过符号模式提取实现了更强的可解释性。

ABSTRACT

The time series classification literature has expanded rapidly over the last decade, with many new classification approaches published each year. The research focus has mostly been on improving the accuracy and efficiency of classifiers, while their interpretability has been somewhat neglected. Classifier interpretability has become a critical constraint for many application domains and the introduction of the 'right to explanation' GDPR EU legislation in May 2018 is likely to further emphasize the importance of explainable learning algorithms. In this work we analyse the state-of-the-art for time series classification, and propose new algorithms that aim to maintain the classifier accuracy and efficiency, but keep interpretability as a key design constraint. We present new time series classification algorithms that advance the state-of-the-art by implementing the following three key ideas: (1) Multiple resolutions of symbolic approximations: we combine symbolic representations obtained using different parameters; (2) Multiple domain representations: we combine symbolic approximations in time (e.g., SAX) and frequency (e.g., SFA) domains; (3) Efficient navigation of a huge symbolic-words space: we adapt a symbolic sequence classifier named SEQL, to make it work with multiple domain representations (e.g., SAX-SEQL, SFA-SEQL), and use its greedy feature selection strategy to effectively filter the best features for each representation. We show that a multi-resolution multi-domain linear classifier, SAX-SFA-SEQL, achieves a similar accuracy to the state-of-the-art COTE ensemble, and to a recent deep learning method (FCN), but uses a fraction of the time required by either COTE or FCN. We discuss the accuracy, efficiency and interpretability of our proposed algorithms. To further analyse the interpretability aspect of our classifiers, we present a case study on an ecology benchmark.

研究动机与目标

• 应对监管要求（如GDPR的'解释权'）和日益增长的应用需求所带来的对可解释时间序列分类器的迫切需求。
• 在不牺牲准确率或效率的前提下，提升时间序列分类的可解释性。
• 开发一种方法，有效处理由多种表示方式生成的庞大符号词空间。
• 整合时间域和频率域的多分辨率符号近似，以增强模型的鲁棒性和可解释性。

提出的方法

• 对时间域符号表示应用符号聚合近似（SAX），并采用不同的分辨率参数。
• 对频率域符号表示使用符号傅里叶近似（SFA），并设置不同的窗口大小和傅里叶系数。
• 将时间域和频率域的符号表示整合到统一的特征空间中。
• 通过将SEQL分类器扩展为支持多域符号序列，利用其贪心特征选择机制，挑选最具判别性的符号词。
• 在所选符号特征上使用线性分类器，以确保可解释性和计算效率。
• 通过训练和组合不同SAX与SFA参数设置的模型，采用多分辨率策略，以提升泛化能力。

实验结果

研究问题

• RQ1 结合时间域和频率域的符号表示是否能在保持可解释性的同时提升分类准确率？
• RQ2 多分辨率符号近似如何影响时间序列分类器的性能与可解释性？
• RQ3 SEQL中的贪心特征选择在多大程度上能有效减少符号词空间，同时不损失预测能力？
• RQ4 与SOTA模型（如COTE和FCN）相比，所提出方法在准确率、效率和可解释性方面表现如何？

主要发现

• SAX-SFA-SEQL的分类准确率与SOTA模型COTE集成方法和深度学习FCN模型相当。
• 与COTE和FCN相比，该方法的推理时间显著更短，更适合实时应用场景。
• 符号表示的使用使得模型具备可解释性，决策可追溯至时间域和频率域中的特定符号模式。
• 在生态学基准数据集上的案例研究表明，模型的预测可通过可识别的符号模式进行解释，支持决策过程的透明性。
• SEQL中的贪心特征选择有效筛选出最相关的符号词，降低维度的同时保持准确率。
• 结合多分辨率与多域表示可提升模型在多样化时间序列数据集上的鲁棒性与泛化能力。