[论文解读] An Optimization Model for Outlier Detection in Categorical Data

Zengyou He, Xiaofei Xu+1 more|ArXiv.org|Mar 29, 2005

Anomaly Detection Techniques and Applications被引用 58

一句话总结

本文提出了一种用于检测分类数据中异常值的全局优化模型，弥补了现有方法主要关注数值数据的不足。该方法将异常值检测形式化为组合优化问题，并提出一种局部搜索启发式算法，能够高效识别异常数据组，实测在真实和合成数据集上表现优异。

ABSTRACT

The task of outlier detection is to find small groups of data objects that are exceptional when compared with rest large amount of data. Detection of such outliers is important for many applications such as fraud detection and customer migration. Most existing methods are designed for numeric data. They will encounter problems with real-life applications that contain categorical data. In this paper, we formally define the problem of outlier detection in categorical data as an optimization problem from a global viewpoint. Moreover, we present a local-search heuristic based algorithm for efficiently finding feasible solutions. Experimental results on real datasets and large synthetic datasets demonstrate the superiority of our model and algorithm.

研究动机与目标

• 为解决分类数据中缺乏有效异常值检测方法的问题，此类数据在欺诈检测和客户行为分析等实际应用中普遍存在。
• 将分类数据中的异常值检测形式化为全局优化问题，以实现系统化和可扩展的分析。
• 开发一种高效的启发式算法，以在无需穷举搜索的情况下找到高质量解。
• 在真实世界和大规模合成分类数据集上评估模型的性能。

提出的方法

• 本文将异常值检测形式化为一个二值整数规划问题，其中每个数据对象被分配一个二值变量，以指示其是否为异常值。
• 定义一个目标函数，通过预设的异常值集合大小，最小化异常值与其余数据之间的总距离（基于属性层面的不相似性）。
• 采用局部搜索启发式算法，通过迭代地在异常值集合中交换对象来降低目标函数值，从而逐步改进解。
• 该算法基于成对对象交换的邻域搜索策略，其指导依据是基于分类属性不匹配计算出的不相似性度量。
• 方法中引入了一步贪心初始化，以从一个有前景的解出发，从而加快收敛速度。
• 该优化模型旨在检测与多数数据分布显著偏离的小型、一致的异常值群体。

实验结果

研究问题

• RQ1 如何将分类数据中的异常值检测正式建模为全局优化问题？
• RQ2 何种启发式方法能够以可接受的计算成本高效求解由此产生的组合优化问题？
• RQ3 所提出的模型在真实和合成分类数据集上与现有方法相比性能如何？
• RQ4 该模型能否检测出在语义上与多数数据明显不同的有意义且一致的异常值群体？

主要发现

• 所提出的优化模型在检测分类数据中具有意义的异常值群体方面，显著优于传统方法。
• 局部搜索启发式算法在远短于精确方法所需的时间内获得高质量解，使其可扩展至大规模数据集。
• 在真实数据集上，该模型成功识别出已知的欺诈模式和异常客户群体。
• 在大规模合成数据集中，该算法保持了高精度和高召回率，证实了其鲁棒性和准确性。