[论文解读] XAI Methods for Neural Time Series Classification: A Brief Review

Ilija Šimić, Vedran Sabol+1 more|arXiv (Cornell University)|Aug 18, 2021

Time Series Analysis and Forecasting参考文献 37被引用 8

一句话总结

本文综述了用于神经网络时间序列分类的可解释人工智能（XAI）方法，评估了显著性图、LRP、DeepLIFT、LIME 和 SHAP 在卷积神经网络（CNNs）、残差网络（ResNets）和长短期记忆网络（LSTMs）中的表现。研究发现，SHAP 和 LRP 在深层网络中的置信度下降方面最为有效，同时倡导通过专家访谈和真实用户研究推动以用户为中心的 XAI 开发，以提升高风险领域中的可解释性。

ABSTRACT

Deep learning models have recently demonstrated remarkable results in a variety of tasks, which is why they are being increasingly applied in high-stake domains, such as industry, medicine, and finance. Considering that automatic predictions in these domains might have a substantial impact on the well-being of a person, as well as considerable financial and legal consequences to an individual or a company, all actions and decisions that result from applying these models have to be accountable. Given that a substantial amount of data that is collected in high-stake domains are in the form of time series, in this paper we examine the current state of eXplainable AI (XAI) methods with a focus on approaches for opening up deep learning black boxes for the task of time series classification. Finally, our contribution also aims at deriving promising directions for future work, to advance XAI for deep learning on time series data.

研究动机与目标

• 评估可解释人工智能（XAI）方法在时间序列分类中深度学习模型的当前状态。
• 识别在时间序列数据预测解释中最为有效的 XAI 技术，如 LRP、SHAP 和显著性图。
• 指出现有评估中的局限性，特别是缺乏真实世界数据和以人为中心的评估。
• 倡导通过利益相关者访谈和真实用户研究，在高风险领域推动以用户为中心的 XAI 开发。
• 为未来时间序列特定的 XAI 研究提出可操作的研究方向，强调可用性、透明度以及与实际工作流程的整合。

提出的方法

• 系统性回顾了针对时间序列分类的深度神经网络定制的 XAI 方法近期文献。
• 评估了五种主流 XAI 技术：显著性图、逐层重要性传播（LRP）、DeepLIFT、LIME 和 SHAP，涵盖多种网络架构。
• 使用模型置信度下降作为关键指标，评估 XAI 方法在识别相关输入特征方面的有效性。
• 通过 UCR 和 UEA 数据库等标准基准，比较不同架构（包括 CNNs、ResNets 和 LSTMs）中的性能表现。
• 提出两阶段研究方法：首先，通过专家访谈了解高风险领域中的用户需求；其次，基于用户反馈调整或开发 XAI 方法。
• 强调需要通过真实数据和真实利益相关者的用户研究，评估可解释性的人本属性，如可读性、信任度和感知透明度。

实验结果

研究问题

• RQ1 在时间序列分类任务中，哪些 XAI 方法最有效识别深度学习模型的相关时间序列特征？
• RQ2 在 CNNs、ResNets 和 LSTMs 中，不同 XAI 技术在扰动显著特征时的置信度下降表现如何比较？
• RQ3 为何某些 XAI 方法（如 LIME）在时间序列场景中表现较差，其生成有意义局部解释的潜在挑战是什么？
• RQ4 在医疗和金融等高风险领域，用户对解释的关键期望是什么？
• RQ5 XAI 方法如何才能有意义地整合到时间序列分类应用的现有工作流程中？

主要发现

• 当扰动被识别为相关的关键特征时，LRP 和 DeepLIFT 显示出最大的置信度下降，表明其在识别关键输入片段方面表现优异。
• 在 ResNets 中，SHAP 产生了最快的置信度下降，表明其在深层架构中捕捉特征重要性的有效性。
• 显著性图在 LSTMs 中表现极为有效，这与它们基于注意力的特性以及突出时间模式的能力一致。
• LIME 在所有架构中表现最差，主要原因是难以为时间序列生成有意义的局部代理数据。
• 尽管在 UCR 和 UEA 等标准数据集上进行了基准测试，但评估仍受限于缺乏真实世界数据和人机协同评估。
• 本研究识别出 XAI 研究中的一个关键缺口：当前方法未在真实用户或真实世界时间序列数据上进行评估，这削弱了其在高风险应用中的实际效用。