[论文解读] Diverse Counterfactual Explanations for Anomaly Detection in Time Series

Déborah Sulem, Michele Donini+7 more|arXiv (Cornell University)|Mar 21, 2022

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出了一种模型无关的方法，用于在时间序列异常检测中生成多样化的反事实解释，通过生成多个异常序列的扰动版本，使模型将其分类为正常。该方法利用概率预测和无梯度优化，确保解释的有效性、合理性与多样性，在高维设置下尤其显著提升了可解释性，特别是通过稀疏变体实现。

ABSTRACT

Data-driven methods that detect anomalies in times series data are ubiquitous in practice, but they are in general unable to provide helpful explanations for the predictions they make. In this work we propose a model-agnostic algorithm that generates counterfactual ensemble explanations for time series anomaly detection models. Our method generates a set of diverse counterfactual examples, i.e, multiple perturbed versions of the original time series that are not considered anomalous by the detection model. Since the magnitude of the perturbations is limited, these counterfactuals represent an ensemble of inputs similar to the original time series that the model would deem normal. Our algorithm is applicable to any differentiable anomaly detection model. We investigate the value of our method on univariate and multivariate real-world datasets and two deep-learning-based anomaly detection models, under several explainability criteria previously proposed in other data domains such as Validity, Plausibility, Closeness and Diversity. We show that our algorithm can produce ensembles of counterfactual examples that satisfy these criteria and thanks to a novel type of visualisation, can convey a richer interpretation of a model's internal mechanism than existing methods. Moreover, we design a sparse variant of our method to improve the interpretability of counterfactual explanations for high-dimensional time series anomalies. In this setting, our explanation is localised on only a few dimensions and can therefore be communicated more efficiently to the model's user.

研究动机与目标

• 解决复杂深度学习模型在时间序列中检测到异常后缺乏可操作且可解释的解释问题。
• 生成反事实解释，展示对输入的最小改动如何使模型将序列分类为正常。
• 确保解释具有多样性、合理性，并尽可能接近原始输入，同时适用于任何可微分的异常检测模型。
• 通过引入仅在少数关键维度上施加扰动的稀疏变体，提升高维多变量时间序列中的可解释性。
• 在真实世界数据集上，通过有效性、合理性、接近度和多样性等多个可解释性标准评估该方法。

提出的方法

• 采用模型无关框架，通过扰动异常时间序列输入，生成使检测模型分类为正常的输出，从而生成反事实集合。
• 采用概率预测（如 DeepVAR）作为生成先验，指导扰动过程，提升合理性。
• 应用基于动态扰动和距离约束的无梯度优化策略，确保反事实与原始序列接近。
• 引入稀疏变体，仅对部分维度施加扰动，从而在高维多变量时间序列中提升可解释性。
• 通过结合预测偏差惩罚和输入距离的损失函数优化反事实，使用超参数 λ 控制权衡。
• 使用动态时间规整（DTW）和时间平滑度度量评估合理性，多样性通过反事实之间的相互距离进行衡量。

实验结果

研究问题

• RQ1 反事实解释能否有效引导用户采取可操作的更改，以防止未来发生异常检测？
• RQ2 如何为时间序列异常检测模型生成多样化、合理且扰动最小的反事实？
• RQ3 在高维多变量时间序列中，引入扰动的稀疏性在多大程度上提升了可解释性？
• RQ4 不同优化策略（如基于梯度与基于采样的方法）在有效性、合理性和多样性方面如何比较？
• RQ5 该方法能否在不同基于深度学习的异常检测模型（如 USAD、NCAD）和真实世界数据集上实现泛化？

主要发现

• 所提方法在多变量数据集上的 USAD 模型中实现了 0% 的失败率，稀疏变体在更复杂的 NCAD 模型中进一步提升了成功率。
• FS（基于特征显著性的方法）在 USAD 模型上生成了最真实的反事实，实现了最低的不合理性得分（Implausibility 1 为 1.62，Implausibility 2 为 1.49）。
• 基于梯度的 ICE 方法在 USAD 模型上取得了最佳的 Distance 得分（31.81），表明其与原始输入高度接近，同时保持了较低的失败率。
• 稀疏 DPE 变体在 USAD 模型上实现了 0.68 的精确率和 0.07 的召回率，成功识别出高维数据中的关键异常通道。
• 该方法在所有指标上均显著优于基线方法，基线方法在 USAD 上失败率为 73.4%，在 NCAD 上为 79.8%。
• 多样性方面，ICE 方法表现最佳（在 NCAD 上为 4639.11），表明其反事实集合具有强多样性，而 FS 方法在合理性和多样性之间达到了最佳平衡。