[论文解读] Learning Interpretable Shapelets for Time Series Classification through Adversarial Regularization

Yichang Wang, Rémi Emonet+5 more|arXiv (Cornell University)|Jun 3, 2019

Time Series Analysis and Forecasting参考文献 23被引用 8

一句话总结

本文提出一种对抗性正则化的卷积神经网络（AI↔PR-CNN），通过约束模型学习到的形状子（shapelets）与训练数据中的实际子序列相似，从而实现时间序列分类中可解释的形状子学习。该方法在保持高分类准确率的同时，确保形状子具有语义意义，并能直接解释模型预测结果。

ABSTRACT

Times series classification can be successfully tackled by jointly learning a shapelet-based representation of the series in the dataset and classifying the series according to this representation. However, although the learned shapelets are discriminative, they are not always similar to pieces of a real series in the dataset. This makes it difficult to interpret the decision, i.e. difficult to analyze if there are particular behaviors in a series that triggered the decision. In this paper, we make use of a simple convolutional network to tackle the time series classification task and we introduce an adversarial regularization to constrain the model to learn more interpretable shapelets. Our classification results on all the usual time series benchmarks are comparable with the results obtained by similar state-of-the-art algorithms but our adversarially regularized method learns shapelets that are, by design, interpretable.

研究动机与目标

• 解决基于深度学习的时间序列分类中可解释性不足的问题，其中学习到的形状子往往与真实数据模式不相符。
• 在不牺牲分类性能的前提下，通过强制形状子与训练集中实际子序列相似，提升模型可解释性。
• 提出一种新颖的对抗性正则化机制，引导网络学习到既具有判别性又语义可解释的形状子。
• 证明所提出方法在保持竞争力准确率的同时，相比现有基于形状子的方法，显著提升了模型决策的可解释性。

提出的方法

• 使用简单的1D卷积神经网络（CNN）作为分类器头部，从时间序列中提取特征。
• 引入一个判别器网络，用于区分真实时间序列子序列与分类器学习到的形状子。
• 通过对抗性正则化训练，使分类器欺骗判别器，从而促使形状子更接近真实数据片段。
• 联合优化目标：在最小化分类损失的同时，最大化判别器检测生成形状子的能力，从而生成更逼真的形状子。
• 使用端到端反向传播训练模型，结合损失函数平衡分类准确率与对抗一致性。
• 采用双流架构，其中生成器（分类器）学习形状子，判别器评估其与实际时间序列片段的逼真度。

实验结果

研究问题

• RQ1 对抗性正则化能否有效引导深度学习模型学习到既具有判别性又可解释的形状子？
• RQ2 与最先进基于形状子的模型相比，所提出方法在分类准确率方面保留程度如何？
• RQ3 学习到的形状子在视觉和结构上与训练数据中的实际子序列相比如何？
• RQ4 对抗性正则化机制是否使形状子更具语义意义，更有利于人类解释？
• RQ5 该方法能否在保持可解释性与性能的前提下，高效扩展至大规模时间序列数据集？

主要发现

• 所提出的AI↔PR-CNN方法在UCR/UEA基准数据集上的分类准确率与最先进方法（如Learning Shapelets, LS）和Fast Shapelets（FS）相当。
• 在ElectricDevices数据集上，该方法训练耗时142分钟，优于原始实现中LS的2323分钟，且与重新实现的LS版本（71分钟）性能相当，表明其具有高效的训练效率。
• 所提出方法学习到的形状子在视觉上与训练数据中的实际子序列相似，可直接用于解释模型决策。
• 对抗性正则化成功促使模型学习到不仅具有判别性，而且语义上可解释、可理解的形状子。
• 该方法的理论复杂度与LS相同（$O(n imes T^2 imes c)$），但训练效率和可解释性显著提升。
• 结果表明，该方法在模型准确率与可解释性之间实现了有利的权衡，所学形状子可直接关联到时间序列中特定行为，用于解释目的。