[论文解读] Multi-criteria Anomaly Detection using Pareto Depth Analysis

Ko-Jen Hsiao, Kevin S. Xu+2 more|arXiv (Cornell University)|Oct 17, 2011

Anomaly Detection Techniques and Applications参考文献 22被引用 11

一句话总结

本文提出Pareto深度分析（PDA），一种非参数化的多准则异常检测方法，利用Pareto最优性在无需预设权重的情况下，基于多个差异性准则识别异常。通过计算成对样本（dyads）的多层Pareto前沿，并根据每个样本的成对样本在其前沿中的分布为其分配深度，PDA通过深度差异检测异常，实现了准则数量的线性扩展，且在理论和实证上均优于线性组合方法。

ABSTRACT

We consider the problem of identifying patterns in a data set that exhibit anomalous behavior, often referred to as anomaly detection. In most anomaly detection algorithms, the dissimilarity between data samples is calculated by a single criterion, such as Euclidean distance. However, in many cases there may not exist a single dissimilarity measure that captures all possible anomalous patterns. In such a case, multiple criteria can be defined, and one can test for anomalies by scalarizing the multiple criteria using a linear combination of them. If the importance of the different criteria are not known in advance, the algorithm may need to be executed multiple times with different choices of weights in the linear combination. In this paper, we introduce a novel non-parametric multi-criteria anomaly detection method using Pareto depth analysis (PDA). PDA uses the concept of Pareto optimality to detect anomalies under multiple criteria without having to run an algorithm multiple times with different choices of weights. The proposed PDA approach scales linearly in the number of criteria and is provably better than linear combinations of the criteria.

研究动机与目标

• 为解决单准则异常检测在捕捉多样化异常模式方面的局限性。
• 消除多准则异常检测中手动或网格搜索权重选择的需求。
• 开发一种可扩展的非参数化方法，利用Pareto最优性实现基于多个差异性度量的鲁棒异常检测。
• 在平滑密度假设下，理论和实证证明PDA优于基于线性组合的异常检测方法。

提出的方法

• 构建成对样本（dyads），表示在多个准则（如速度、形状、距离）下数据样本之间的成对差异性。
• 通过迭代剥离非支配成对样本，计算多层Pareto前沿，并为每个成对样本分配对应其前沿层级的深度。
• 利用与测试样本相关的成对样本的深度分布，将其分类为正常或异常——正常样本集中在浅层前沿，异常样本则位于更深层前沿。
• 为每个准则独立选择最近邻数 $k_i$，确保训练样本的 $k_i$-最近邻图连通。
• 将该方法应用于合成数据和真实世界数据，包括行人轨迹分析，采用启发式方法选择 $k_i$ 值，以在连通性与敏感性之间取得平衡。
• 理论分析表明，在平滑 $K$-维密度假设下，PDA优于线性组合检验。

实验结果

研究问题

• RQ1 当存在多个差异性准则时，Pareto深度分析是否能比线性组合方法更有效地检测异常？
• RQ2 所提出的方法是否可避免在准则间进行权重调优？若可，其在准则数量增加时的扩展性能如何？
• RQ3 在多准则设置下，正常与异常样本的成对样本深度分布有何差异？
• RQ4 基于连通 $k$-最近邻图的启发式方法能否在缺乏最优权重先验知识的情况下，可靠地选择每准则的邻居数？

主要发现

• Pareto深度分析在准则数量上呈线性扩展，与之相比，网格搜索方法呈指数扩展。
• 理论分析表明，在平滑多准则密度假设下，PDA在检测异常方面优于线性组合检验。
• 在行人轨迹实验中，PDA的AUC非常接近使用人工调优权重获得的最优AUC，优于所有单准则方法。
• 基于连通 $k$-最近邻图的 $k_i$ 值选择启发式方法表现稳健，即使在真实最优参数未知时，仍能获得接近最优的AUC。
• 异常样本始终与更深的Pareto前沿深度相关，而正常样本则聚集在较浅的前沿，从而实现可靠的区分。