[论文解读] Robust Contextual Outlier Detection: Where Context Meets Sparsity

Jiongqian Liang, Srinivasan Parthasarathy|arXiv (Cornell University)|Jul 28, 2016

Anomaly Detection Techniques and Applications参考文献 35被引用 10

一句话总结

本文提出ROCOD，一种鲁棒的上下文异常检测方法，通过整合局部和全局行为模型来处理稀疏上下文，显著提升了准确率和可扩展性。ROCOD在合成数据集和真实世界数据集上均优于最先进方法，速度最高提升40倍，且在检测具有稀疏上下文属性的对象时表现出更优的精确度。

ABSTRACT

Outlier detection is a fundamental data science task with applications ranging from data cleaning to network security. Given the fundamental nature of the task, this has been the subject of much research. Recently, a new class of outlier detection algorithms has emerged, called {\it contextual outlier detection}, and has shown improved performance when studying anomalous behavior in a specific context. However, as we point out in this article, such approaches have limited applicability in situations where the context is sparse (i.e. lacking a suitable frame of reference). Moreover, approaches developed to date do not scale to large datasets. To address these problems, here we propose a novel and robust approach alternative to the state-of-the-art called RObust Contextual Outlier Detection (ROCOD). We utilize a local and global behavioral model based on the relevant contexts, which is then integrated in a natural and robust fashion. We also present several optimizations to improve the scalability of the approach. We run ROCOD on both synthetic and real-world datasets and demonstrate that it outperforms other competitive baselines on the axes of efficacy and efficiency (40X speedup compared to modern contextual outlier detection methods). We also drill down and perform a fine-grained analysis to shed light on the rationale for the performance gains of ROCOD and reveal its effectiveness when handling objects with sparse contexts.

研究动机与目标

• 为解决现有上下文异常检测方法在处理具有稀疏上下文属性的对象时的局限性。
• 通过更有效地区分上下文属性与行为属性，提升异常检测的准确性。
• 开发一种可扩展的算法，使其在大规模数据集上仍能保持高性能。
• 提供一个统一框架，结合局部与全局行为模型，实现鲁棒的异常评分。

提出的方法

• ROCOD采用双模型方法：基于上下文邻居的局部期望行为模型，以及从整个数据集推导出的全局期望行为模型。
• 通过一种自然且鲁棒的融合机制，整合局部与全局行为期望，最大限度减少在稀疏上下文中的异常度高估。
• 该方法使用局部敏感哈希（LSH）高效估算上下文邻居，从而实现对大规模数据集的可扩展性。
• ROCOD结合并行化与优化技术以加速计算，实现显著的速度提升。
• 支持线性和非线性模型用于全局行为估计，其中ROCOD_2采用非线性模型以提升准确性。
• 该算法设计旨在避免将具有异常上下文的正常对象错误标记为异常，尤其在稀疏上下文区域中。

实验结果

研究问题

• RQ1 如何在存在稀疏上下文属性的情况下，使异常检测更具鲁棒性？
• RQ2 与现有上下文异常检测方法相比，统一的局部与全局行为建模方法是否能提升检测准确性？
• RQ3 所提出方法在保持高性能的前提下，能在多大程度上扩展至大规模数据集？
• RQ4 为什么最先进方法在稀疏上下文区域无法正确识别异常，而ROCOD如何克服这一问题？

主要发现

• ROCOD相较于最先进上下文异常检测方法CAD，速度最高提升40倍，且ROCOD_1比ROCOD_2更快。
• 在KDD-CUP99数据集上，ROCOD_2的AUC和nDCG均优于CAD和LSOD，展现出更优的排序性能。
• 在KDD-CUP99数据集上，ROCOD的Top-100精确度达到0.85，显著优于LSOD（0.72）和CAD（0.78）。
• ROCOD能正确识别稀疏上下文区域中的异常（如点A、B），而不会产生误报，而LSOD和CAD则会将它们错误标记为异常。
• ROCOD中使用LSH将大规模数据集的运行时间从1000秒以上缩短至700秒以下，证明其对可扩展性的关键作用。
• 可视化分析表明，ROCOD避免了将具有稀疏上下文的正常对象误分类为异常，而CAD和LSOD则频繁出现此类误判。