[论文解读] Multi-Modal Prototype Learning for Interpretable Multivariable Time Series Classification

Gaurav R. Ghosal, Reza Abbasi-Asl|arXiv (Cornell University)|Jun 17, 2021

Time Series Analysis and Forecasting参考文献 31被引用 4

一句话总结

本文提出了一种模块化、多层级的原型学习框架，用于可解释的多变量时间序列分类。该框架首先通过对比学习学习单变量原型，然后将它们组合成多变量原型，以捕捉变量间的交叉模式。该方法在实现最先进分类性能的同时，提供了对单个变量模式及其类别判别性关系的可解释洞察，已在合成数据和真实的人体活动识别数据上得到验证。

ABSTRACT

Multivariable time series classification problems are increasing in prevalence and complexity in a variety of domains, such as biology and finance. While deep learning methods are an effective tool for these problems, they often lack interpretability. In this work, we propose a novel modular prototype learning framework for multivariable time series classification. In the first stage of our framework, encoders extract features from each variable independently. Prototype layers identify single-variable prototypes in the resulting feature spaces. The next stage of our framework represents the multivariable time series sample points in terms of their similarity to these single-variable prototypes. This results in an inherently interpretable representation of multivariable patterns, on which prototype learning is applied to extract representative examples i.e. multivariable prototypes. Our framework is thus able to explicitly identify both informative patterns in the individual variables, as well as the relationships between the variables. We validate our framework on a simulated dataset with embedded patterns, as well as a real human activity recognition problem. Our framework attains comparable or superior classification performance to existing time series classification methods on these tasks. On the simulated dataset, we find that our model returns interpretations consistent with the embedded patterns. Moreover, the interpretations learned on the activity recognition dataset align with domain knowledge.

研究动机与目标

• 为解决多变量时间序列分类中的可解释性挑战，其中深度学习模型通常表现为黑箱。
• 以透明且可解释的方式显式建模单变量模式和变量间关系。
• 开发一种模块化训练流程，以有效学习具有不同噪声水平、时间尺度和领域差异的异质变量的原型。
• 通过具有已知嵌入模式的合成数据集和真实世界的人体活动识别数据集，验证所学习原型的可解释性。
• 展示该框架能够揭示有意义且与领域对齐的解释，例如通过信号频率和振幅区分运动类型。

提出的方法

• 该框架为每个变量使用独立的编码器，通过对比学习训练，以从单个时间序列中提取有意义的特征。
• 单变量原型层将每个样本表示为在每个变量特征空间中与一组学习到的原型的相似度分数。
• 将所有变量的相似度分数拼接，形成一种内在可解释的多变量表示。
• 通过聚类拼接后的相似度表示，第二层原型层学习多变量原型，以识别跨变量的类别判别性模式。
• 该方法采用两阶段训练流程：首先预训练编码器和单变量原型，然后联合训练多变量原型层。
• 通过显式识别对分类最相关的变量模式及其组合，实现基于模型的可解释性。

实验结果

研究问题

• RQ1 基于原型的框架能否有效学习并表示多变量时间序列中的单变量和交叉变量模式？
• RQ2 该框架是否能产生与合成数据中已知模式以及真实世界数据中领域知识一致的解释？
• RQ3 与现有深度学习方法相比，该模型的可解释性在清晰度和科学洞察力方面如何？
• RQ4 该模型在多大程度上能基于信号特征（如频率和振幅）区分不同类别？
• RQ5 该框架能否揭示跨类别的重叠模式，例如不同活动中某一变量中存在相似的信号？

主要发现

• 在模拟数据集上，模型成功恢复了嵌入模式，正确识别出锯切具有高频、低振幅信号，行走具有低频、低振幅信号，跑步具有高频、可变振幅信号。
• 在人体活动识别任务中，多变量原型揭示了锯切和癫痫类在第一维变量中具有相似的模式，表明其信号特征可能存在重叠。
• 模型为行走、跑步和锯切识别出独热编码的多变量原型，表明每个类别在每个变量上均与单一主导模式相关，使其易于区分。
• 对于癫痫类，第一维变量块中存在两个非零条目，表明存在两种不同的信号模式，该结果经UMAP可视化验证，并由多变量原型结构揭示。
• 该框架在分类性能上与现有方法相当或更优，同时提供了基于领域知识的详细、人类可读的解释。
• 该方法实现了细粒度的特征重要性分析，表明某些变量对类别判别贡献更大，且揭示了对分类最相关的具体模式。