[论文解读] Benchmarking Deep Learning Interpretability in Time Series Predictions

Aya Abdelsalam Ismail, Mohamed K. Gunady+2 more|arXiv (Cornell University)|Oct 26, 2020

Explainable Artificial Intelligence (XAI)参考文献 40被引用 87

一句话总结

本文对多变量时间序列在RNN、TCN和Transformer中的基于显著性的方法进行基准评估，识别出由于时间与特征混淆而产生的系统性失败，并提出 Temporal Saliency Rescaling (TSR) 以改进解释。

ABSTRACT

Saliency methods are used extensively to highlight the importance of input features in model predictions. These methods are mostly used in vision and language tasks, and their applications to time series data is relatively unexplored. In this paper, we set out to extensively compare the performance of various saliency-based interpretability methods across diverse neural architectures, including Recurrent Neural Network, Temporal Convolutional Networks, and Transformers in a new benchmark of synthetic time series data. We propose and report multiple metrics to empirically evaluate the performance of saliency methods for detecting feature importance over time using both precision (i.e., whether identified features contain meaningful signals) and recall (i.e., the number of features with signal identified as important). Through several experiments, we show that (i) in general, network architectures and saliency methods fail to reliably and accurately identify feature importance over time in time series data, (ii) this failure is mainly due to the conflation of time and feature domains, and (iii) the quality of saliency maps can be improved substantially by using our proposed two-step temporal saliency rescaling (TSR) approach that first calculates the importance of each time step before calculating the importance of each feature at a time step.

研究动机与目标

• 评估常见显著性方法在多变量时间序列中识别随时间变化的有信息特征的能力。
• 评估神经网络体系结构（RNN、TCN、Transformer）对显著性图质量的影响。
• 开发一个具有已知有信息特征的合成基准，以量化解释的精确度和召回率。
• 提出一种实用方法（TSR）以解耦时间和特征相关性，改进时间序列的显著性图。

提出的方法

• 在 LSTM、带输入-单元注意力的 LSTM、TCN 和 Transformer 架构上比较基于梯度和基于扰动的显著性方法。
• 设计在时间和特征分布中具有已知有信息特征的合成多变量时间序列数据集。
• 通过逐步掩蔽显著性识别的特征并测量准确度下降，使用精确度/召回率指标进行评估。
• 提出 Temporal Saliency Rescaling (TSR)：先通过掩蔽每个时间步来计算时间相关性，在时间阈值以上的时间步内再计算特征相关性，最终分数为时间相关性与特征相关性的乘积。
• 给出 TSR 的算法描述（Algorithm 1），并报告其对显著性质量的影响。
• 将时间序列的显著性图与作为图像处理的或单变量/时间增强序列的显著性图进行比较。

实验结果

研究问题

• RQ1 标准显著性方法是否能在多变量时间序列中对随时间变化的特征重要性在常见神经架构下可靠识别？
• RQ2 架构选择（RNN、TCN、Transformer）如何影响时间序列中显著性图的质量？
• RQ3 在不改变模型预测的前提下，事后时间解耦是否能提高解释的忠实性？
• RQ4 应用 TSR 时，可解释性质量与计算成本之间的权衡是什么？
• RQ5 在将数据作为图像处理与内在时间序列表示相比时，时间序列的显著性评估是否会不同？

主要发现

• 大多数显著性方法在多变量时间序列上很难产生高质量的解释，即使模型具有很高的准确度也如此。
• 显著性图通常能够突出信息丰富的时间步，但很难区分这些步内哪些特征真正具有信息量。
• 模型架构显著影响显著性质量，且差异有时比显著性方法的选择还大。
• 两步法的 Temporal Saliency Rescaling (TSR) 方法在各方法与架构下显著性质量有显著提升，尽管计算成本更高。
• 在对 Gradient 显著性应用时，TSR 在基线简单方法中的表现最佳，并在不同数据集上展现鲁棒性。