[论文解读] Interpretable Anomaly Detection with DIFFI: Depth-based Isolation Forest Feature Importance

Mattia Carletti, Matteo Terzi+1 more|arXiv (Cornell University)|Jul 21, 2020

Anomaly Detection Techniques and Applications参考文献 53被引用 13

一句话总结

本文提出 DIFFI，一种计算高效的全局与局部特征重要性计算方法，用于孤立森林（Isolation Forests），提升了无监督异常检测中的可解释性。DIFFI 实现了可解释的异常检测与无监督特征选择，性能与 SOTA 方法（如 SHAP）相当，但计算成本显著更低。

ABSTRACT

Anomaly Detection is an unsupervised learning task aimed at detecting anomalous behaviours with respect to historical data. In particular, multivariate Anomaly Detection has an important role in many applications thanks to the capability of summarizing the status of a complex system or observed phenomenon with a single indicator (typically called `Anomaly Score') and thanks to the unsupervised nature of the task that does not require human tagging. The Isolation Forest is one of the most commonly adopted algorithms in the field of Anomaly Detection, due to its proven effectiveness and low computational complexity. A major problem affecting Isolation Forest is represented by the lack of interpretability, an effect of the inherent randomness governing the splits performed by the Isolation Trees, the building blocks of the Isolation Forest. In this paper we propose effective, yet computationally inexpensive, methods to define feature importance scores at both global and local level for the Isolation Forest. Moreover, we define a procedure to perform unsupervised feature selection for Anomaly Detection problems based on our interpretability method; such procedure also serves the purpose of tackling the challenging task of feature importance evaluation in unsupervised anomaly detection. We assess the performance on several synthetic and real-world datasets, including comparisons against state-of-the-art interpretability techniques, and make the code publicly available to enhance reproducibility and foster research in the field.

研究动机与目标

• 为解决孤立森林这一广泛应用但内在不透明的异常检测算法所存在的可解释性不足问题。
• 提供全局与局部特征重要性评分，以解释哪些特征对异常检测决策贡献最大。
• 通过可解释性驱动的标准实现无监督特征选择，降低模型复杂度并提升性能。
• 开发一种计算高效的方法，适用于实时或资源受限的应用场景。
• 增强用户信任，并在工业与真实世界异常检测部署中支持根本原因分析。

提出的方法

• DIFFI 基于孤立树中分裂的平均深度计算特征重要性，利用特征导致更早分裂则其相关性更高的事实。
• 全局特征重要性通过所有树中特征使用频率加权的平均深度减少量推导得出。
• 局部特征重要性通过聚合样本路径上各特征对深度的贡献来计算，路径指向异常得分。
• 该方法利用孤立森林模型的原始结构与超参数，无需额外训练或重新训练。
• 无监督特征选择通过全局 DIFFI 评分对特征进行排序，并选择前 k 个特征以重新训练 IF 模型实现。
• 该方法设计轻量化，超参数调优极少，且继承默认的 IF 超参数以确保鲁棒性。

实验结果

研究问题

• RQ1 能否利用孤立树中的深度统计量，推导出异常检测中具有意义的全局与局部特征重要性评分？
• RQ2 与现有可解释性技术（如 SHAP）相比，所提出的 DIFFI 方法在无监督异常检测中的性能与效率如何？
• RQ3 基于 DIFFI 的特征选择能否提升孤立森林在真实世界异常检测任务中的准确率与效率？
• RQ4 与其它无监督特征选择方法相比，DIFFI 在多大程度上减少了对超参数调优的需求？
• RQ5 由于计算成本极低，DIFFI 是否可有效应用于实时或流式异常检测场景？

主要发现

• DIFFI 在性能上与 SOTA 可解释性方法（如 SHAP）相当，尤其在全局特征重要性估计方面，但计算开销显著更低。
• 在多个真实世界数据集（包括 cardio、ionosphere 和 musk）上，DIFFI 在无监督特征选择中持续优于 Laplacian Score 与 SPEC，尤其在广泛的 k 值（所选特征数量）范围内表现更优。
• DIFFI 在大多数评估数据集中成功识别出最优特征子集（即获得最高中位数 F1 分数的子集），表明其与检测性能高度一致。
• 该方法几乎无需或完全无需超参数调优，直接继承默认的孤立森林设置，从而提升了在真实应用中的可用性与可复现性。
• DIFFI 支持可解释的异常检测并提供可操作的洞察，有助于根本原因分析，增强用户对模型输出的信任。
• DIFFI 的计算成本极低，适用于对效率要求高的实时或流式异常检测系统部署。