[论文解读] Contextual Outlier Interpretation

Ninghao Liu, DongHwa Shin+1 more|arXiv (Cornell University)|Nov 28, 2017

Anomaly Detection Techniques and Applications参考文献 40被引用 13

一句话总结

本文提出上下文异常值解释（COIN），一种模型无关的框架，通过三种组件解释异常值：异常属性、异常度分数和对比邻域上下文。通过将解释建模为一系列局部分类任务，COIN 实现了在不同数据集和检测方法上对异常值检测器的统一、可解释性评估。

ABSTRACT

Outlier detection plays an essential role in many data-driven applications to identify isolated instances that are different from the majority. While many statistical learning and data mining techniques have been used for developing more effective outlier detection algorithms, the interpretation of detected outliers does not receive much attention. Interpretation is becoming increasingly important to help people trust and evaluate the developed models through providing intrinsic reasons why the certain outliers are chosen. It is difficult, if not impossible, to simply apply feature selection for explaining outliers due to the distinct characteristics of various detection models, complicated structures of data in certain applications, and imbalanced distribution of outliers and normal instances. In addition, the role of contrastive contexts where outliers locate, as well as the relation between outliers and contexts, are usually overlooked in interpretation. To tackle the issues above, in this paper, we propose a novel Contextual Outlier INterpretation (COIN) method to explain the abnormality of existing outliers spotted by detectors. The interpretability for an outlier is achieved from three aspects: outlierness score, attributes that contribute to the abnormality, and contextual description of its neighborhoods. Experimental results on various types of datasets demonstrate the flexibility and effectiveness of the proposed framework compared with existing interpretation approaches.

研究动机与目标

• 为解决异常值检测中可解释性的缺乏，尤其是针对黑箱模型和复杂数据结构的问题。
• 提供一个统一的、模型无关的框架，解释为何特定实例被标记为异常值。
• 将异常属性、异常度分数和上下文对比邻域整合到一个统一的可解释性框架中。
• 通过聚合的解释指标实现对异常值检测模型的评估与比较。
• 将关于特征重要性的领域先验知识整合到解释过程中。

提出的方法

• COIN 将异常值解释建模为异常值邻域上下文中的系列局部分类任务。
• 通过在每个异常值周围的对比上下文上训练简单且可解释的分类器，识别异常属性。
• 异常度分数源自分类器的置信度，明确将其与异常特征关联。
• 该方法提出一种新颖的异常度分数公式，基于特征贡献和上下文量化异常程度。
• 通过在多个异常值上聚合解释，评估检测器性能并支持模型选择。
• 可将关于特征角色的先验知识整合到分类过程中，引导解释聚焦于领域相关的属性。

实验结果

研究问题

• RQ1 我们如何为由多样化黑箱异常值检测模型检测出的异常值提供一致且可解释的解释？
• RQ2 局部上下文（例如邻域结构）在解释异常值异常性方面发挥什么作用？
• RQ3 能否从特征贡献和上下文推导出统一的异常度分数，以实现跨检测器的比较？
• RQ4 如何将关于特征重要性的领域特定知识整合到异常值解释中？
• RQ5 能否通过多个异常值的聚合解释来评估和比较不同异常值检测模型的性能？

主要发现

• COIN 通过异常属性、异常度分数和上下文对比成功解释了异常值，提供了一个全面的解释框架。
• 所提出的异常度分数明确将异常特征与异常程度关联，支持跨检测器的定量比较。
• 在真实世界和合成数据集上的实验表明，COIN 在解释各种检测方法生成的异常值方面具有高度灵活性和有效性。
• 从多个异常值聚合的解释可实现对异常值检测模型的有意义评估，支持模型选择和性能基准测试。
• 该框架支持领域知识的整合，使用户能够根据特定应用场景定制解释。
• 案例研究证实，COIN 的各个组件——异常特征、分数和上下文——为检测到的异常值提供了可操作且人类可理解的洞察。