[论文解读] Explainable AI for Time Series via Virtual Inspection Layers

Johanna Vielhaben, Sebastian Lapuschkin+2 more|arXiv (Cornell University)|Mar 11, 2023

Stock Market Forecasting Methods被引用 4

一句话总结

本文提出DFT-LRP，一种虚拟检查层，使局部可解释性方法（如LRP）能够将相关性分数从时域传播到频域，用于时间序列模型。通过将离散傅里叶变换（DFT）作为可逆变换应用，该方法在无需重新训练模型的情况下揭示了基于频域的可解释性解释，发现了模型策略（例如对低频噪声等虚假相关性的依赖）在音频和心电图数据中的表现。

ABSTRACT

The field of eXplainable Artificial Intelligence (XAI) has witnessed significant advancements in recent years. However, the majority of progress has been concentrated in the domains of computer vision and natural language processing. For time series data, where the input itself is often not interpretable, dedicated XAI research is scarce. In this work, we put forward a virtual inspection layer for transforming the time series to an interpretable representation and allows to propagate relevance attributions to this representation via local XAI methods. In this way, we extend the applicability of XAI methods to domains (e.g. speech) where the input is only interpretable after a transformation. In this work, we focus on the Fourier Transform which, is prominently applied in the preprocessing of time series, with Layer-wise Relevance Propagation (LRP) and refer to our method as DFT-LRP. We demonstrate the usefulness of DFT-LRP in various time series classification settings like audio and medical data. We showcase how DFT-LRP reveals differences in the classification strategies of models trained in different domains (e.g., time vs. frequency domain) or helps to discover how models act on spurious correlations in the data.

研究动机与目标

• 为解决时间序列模型缺乏可解释性解释的问题，因为原始时间点对人类而言本身并无固有意义。
• 通过使相关性在可解释表示（如频域）中传播，将局部XAI方法（如LRP）扩展到时间序列。
• 检测并诊断模型行为，如依赖数据中虚假相关性的‘聪明汉斯’策略。
• 提供一个框架，用于在不重新训练的情况下比较不同输入表示（时域与频域）下的模型决策策略。
• 在原始时间序列特征难以解释的领域（如音频和电子健康记录）中实现模型解释。

提出的方法

• 引入一种由两个线性、可逆变换组成的虚拟检查层：一个将输入数据映射到可解释表示（例如通过DFT），另一个将其映射回原始域。
• 对变换后的表示应用逐层相关性传播（LRP），使相关性分数可在频域或时频域中解释。
• 推导出通过DFT和短时傅里叶变换（STFT）进行相关性传播的闭式表达式，实现无需近似的精确计算。
• 使用基于反向传播的LRP，将相关性从模型输出通过虚拟检查层传播到可解释域。
• 将该方法应用于音频和心电图领域的时间序列分类器，比较时域、频域和时频域中的解释。
• 将像素翻转评估方法扩展至比较不同格式（时域、频域、时频域）的解释，以评估解释质量。

实验结果

研究问题

• RQ1 能否通过将输入转换为可解释表示（如频域）有效扩展局部XAI方法（如LRP）至时间序列？
• RQ2 在时域与频域中训练的模型，其决策策略有何不同？DFT-LRP能否揭示这些差异？
• RQ3 DFT-LRP能否检测并暴露时间序列模型中的‘聪明汉斯’行为，如对低频噪声等虚假相关性的依赖？
• RQ4 与时域解释相比，频域解释在时间序列分类中能提供多大程度上更有意义的洞察？
• RQ5 DFT-LRP能否在不重新训练的情况下用于比较不同输入表示下的模型策略？

主要发现

• DFT-LRP成功揭示了在添加粉红噪声的音频数据上训练的模型（‘聪明汉斯’设置）更关注50 Hz以下的频率，即噪声，而非语音数字的基频。
• 时域模型将98%的含噪零样本分类为零，表明存在‘聪明汉斯’行为，而这种行为仅能通过频域解释检测到。
• 在心电图分类中，DFT-LRP显示，所有类别中44.3%的测试样本中模型聚焦于信号均值（k=0），正常心搏（类别0）中占比达50.1%，表明其依赖于虚假相关性而非临床相关特征。
• 在音频分类中，时域模型利用基频和泛音，而频域模型仅聚焦于基频，揭示了截然不同的决策策略。
• 该方法通过扩展的像素翻转评估，实现了对时域、频域和时频域解释的直接比较，表明频域解释具有更高的可解释性。
• DFT-LRP揭示出，仅依赖时域解释会遗漏关键的模型行为（如对噪声的依赖），而这些行为仅在转换到频域后才能显现。