[论文解读] Generalised Interpretable Shapelets for Irregular Time Series

Patrick Kidger, James Morrill+1 more|arXiv (Cornell University)|May 28, 2020

Time Series Analysis and Forecasting参考文献 27被引用 6

一句话总结

该论文提出了一种形状子变换的连续时间推广，实现了对可解释的、非均匀采样多变量时间序列特征的端到端可微学习。通过在连续时间中表述形状子并引入可学习的伪度量，该方法在保持高精度的同时实现了可解释性——在手写数字中发现了如手性等结构模式，在音频中发现了谱间隙。

ABSTRACT

The shapelet transform is a form of feature extraction for time series, in which a time series is described by its similarity to each of a collection of `shapelets'. However it has previously suffered from a number of limitations, such as being limited to regularly-spaced fully-observed time series, and having to choose between efficient training and interpretability. Here, we extend the method to continuous time, and in doing so handle the general case of irregularly-sampled partially-observed multivariate time series. Furthermore, we show that a simple regularisation penalty may be used to train efficiently without sacrificing interpretability. The continuous-time formulation additionally allows for learning the length of each shapelet (previously a discrete object) in a differentiable manner. Finally, we demonstrate that the measure of similarity between time series may be generalised to a learnt pseudometric. We validate our method by demonstrating its performance and interpretability on several datasets; for example we discover (purely from data) that the digits 5 and 6 may be distinguished by the chirality of their bottom loop, and that a kind of spectral gap exists in spoken audio classification.

研究动机与目标

• 为克服经典形状子变换的局限性，后者仅适用于均匀采样、完全观测的时间序列。
• 实现形状子长度和位置的可微训练，从而消除对离散超参数搜索的需求。
• 在通过简单正则化惩罚实现高效训练的同时保持可解释性。
• 将时间序列与形状子之间的相似度度量推广为可学习的伪度量，以提升领域自适应能力。
• 实现对有意义的、数据驱动的模式的发现，如手写数字中的手性或音频中的谱间隙。

提出的方法

• 在连续时间中表述形状子变换，从而能够处理非均匀采样和部分观测的多变量时间序列。
• 将形状子表示为时间上的连续函数，从而实现其长度和时间位置的可微优化。
• 引入一种正则化惩罚，以鼓励形状子呈现出数据中显著且可解释的特征。
• 通过一个对角矩阵 A 将经典的 L2 差异推广为可学习的伪度量，从而实现通道特定的相似度加权。
• 将音频的 MFC（梅尔频率倒谱系数）表示作为广义形状子变换的输入，用于语音分类。
• 通过形状子变换进行端到端反向传播，实现形状子与下游分类器的联合优化。

实验结果

研究问题

• RQ1 形状子学习能否在保持可解释性的同时推广到非均匀采样和部分观测的多变量时间序列？
• RQ2 形状子的长度能否通过可微方式优化，而非作为离散超参数？
• RQ3 简单的正则化策略能否在不牺牲训练效率的前提下保持可解释性？
• RQ4 可学习的伪度量能否提升性能，并提供跨通道特征重要性的洞察？
• RQ5 该方法能否在真实世界时间序列数据中发现新颖且可解释的模式，如手写数字中的手性或音频中的谱间隙？

主要发现

• 在 Speech Commands 数据集上，广义形状子变换达到了 91.9% ± 2.4% 的测试准确率，显著优于经典形状子变换（44.8% ± 8.6%）。
• 在 PenDigits 数据集上，该方法在 50% 训练数据下达到了 93.5% ± 1.1% 的准确率，展现出在小样本数据集上的强大性能。
• 模型发现，数字 5 和 6 可通过其底部环的“手性”（方向）加以区分，完全基于数据。
• 在语音分类中，学习到的伪度量识别出一个谱间隙，其中前 15 个梅尔频率倒谱系数获得了更高的权重，证实了低频分量的重要性。
• 在 MFC 空间中学习到的形状子具有感知可解释性——当转换回音频时，它们类似于有意义的声音如“eft”或“stop”，表明其捕捉了判别性特征。
• 该方法在多个基准测试（包括 Libras 和 LSST）上实现了最先进性能，同时通过正则化和可视化保持了可解释性。