[论文解读] Explainable Multivariate Time Series Classification: A Deep Neural Network Which Learns To Attend To Important Variables As Well As Informative Time Intervals

Tsung-Yu Hsieh, Suhang Wang+2 more|arXiv (Cornell University)|Nov 23, 2020

Time Series Analysis and Forecasting参考文献 63被引用 5

一句话总结

本文提出 LAXCAT，一种用于可解释多变量时间序列分类的新型深度神经网络，通过双注意力机制联合学习重要变量和信息时间区间的表示。该模型在基准数据集上的表现优于最先进方法，同时提供了与领域知识一致的临床和科学上有意义的解释。

ABSTRACT

Time series data is prevalent in a wide variety of real-world applications and it calls for trustworthy and explainable models for people to understand and fully trust decisions made by AI solutions. We consider the problem of building explainable classifiers from multi-variate time series data. A key criterion to understand such predictive models involves elucidating and quantifying the contribution of time varying input variables to the classification. Hence, we introduce a novel, modular, convolution-based feature extraction and attention mechanism that simultaneously identifies the variables as well as time intervals which determine the classifier output. We present results of extensive experiments with several benchmark data sets that show that the proposed method outperforms the state-of-the-art baseline methods on multi-variate time series classification task. The results of our case studies demonstrate that the variables and time intervals identified by the proposed method make sense relative to available domain knowledge.

研究动机与目标

• 开发一种多变量时间序列分类器，通过识别对分类决策贡献最大的变量和时间区间，同时提升准确率与可解释性。
• 解决在高风险领域（如医疗保健和神经科学）中解释多变量时间序列数据复杂时间模式的挑战。
• 构建一种模块化、基于卷积的架构，实现变量级别与时间区间级别的并行注意力机制，以提升模型透明度。
• 验证所识别的变量和时间区间在真实应用场景中是否与既有的领域知识相符。

提出的方法

• LAXCAT 使用基于卷积的特征提取网络，对每个时间点周围的局部时间模式进行编码。
• 采用双注意力机制：一个用于选择重要变量（变量注意力），另一个用于识别信息时间区间（时间注意力）。
• 模型通过局部卷积计算上下文嵌入，并应用注意力权重以突出相关变量和时间窗口。
• 最终分类通过全连接网络在加权上下文嵌入上完成，采用联合损失函数进行端到端训练，同时优化准确率与注意力稀疏性。
• 该架构设计为模块化且可泛化，适用于多种多变量时间序列应用，包括脑电信号（EEG）和运动数据。
• 注意力机制经过训练，可生成反映变量和时间区间对最终预测贡献度的可解释注意力分数。

实验结果

研究问题

• RQ1 深度学习模型能否联合识别多变量时间序列数据中最关键的变量和时间区间，以提升分类性能？
• RQ2 所提出的注意力机制是否能在真实应用场景中生成与既定领域知识一致的解释？
• RQ3 变量级别注意力与时间区间级别注意力如何独立且协同地提升模型的预测准确率？
• RQ4 模型性能对超参数（如卷积核大小、滤波器数量和隐藏单元数）的敏感性如何？

主要发现

• LAXCAT 在多个基准多变量时间序列数据集上优于最先进基线模型，实现了更高的分类准确率。
• 在 Movement 数据集上，LAXCAT 在运动任务触发后将约 24% 的注意力分配给目标 EEG 通道，而 DARNN 和 IMV-LSTM 分别为 20% 和 22%，表明其与预期神经活动更吻合。
• 消融实验表明，若同时移除两个注意力模块，PM2.5 数据集上的 F1 分数降至 38.68%，证实了两种注意力机制的关键作用。
• 超参数敏感性分析显示，卷积核大小为 16 和 64 时性能优于 32，而基于时间点的注意力（核大小=1）使性能下降至约 75%，凸显了基于时间区间的时序注意力的优势。
• 对 EEG 数据的案例研究显示，LAXCAT 正确识别出对侧脑区（如右手运动时的左半球），与已知神经生理学原理一致。
• 模型的注意力模式表现出时间连贯性，注意力峰值出现在运动任务触发后，与预期的神经动力学特征相符。