[论文解读] Beauty and Brains: Detecting Anomalous Pattern Co-Occurrences

Roel Bertens, Jilles Vreeken+1 more|arXiv (Cornell University)|Dec 22, 2015

Data Visualization and Analytics参考文献 21被引用 3

一句话总结

本文引入了一类新型交易数据异常——单独来看常见但极少共同出现的模式组合。作者提出了 Beauty and Brains（BnB）得分，通过测量交易中所有模式组合的最高新颖性（负对数提升值）来识别此类异常，实现快速检测与可解释性说明，而无需挖掘全部关联规则。

ABSTRACT

Our world is filled with both beautiful and brainy people, but how often does a Nobel Prize winner also wins a beauty pageant? Let us assume that someone who is both very beautiful and very smart is more rare than what we would expect from the combination of the number of beautiful and brainy people. Of course there will still always be some individuals that defy this stereotype; these beautiful brainy people are exactly the class of anomaly we focus on in this paper. They do not posses intrinsically rare qualities, it is the unexpected combination of factors that makes them stand out. In this paper we define the above described class of anomaly and propose a method to quickly identify them in transaction data. Further, as we take a pattern set based approach, our method readily explains why a transaction is anomalous. The effectiveness of our method is thoroughly verified with a wide range of experiments on both real world and synthetic data.

研究动机与目标

• 定义并形式化交易数据中一类新型异常：单独频繁但极少成对出现的模式组合。
• 填补现有异常检测方法的空白，这些方法无法识别由常见模式罕见共现引发的异常。
• 开发一种高效算法，计算异常得分而无需穷举挖掘全部关联规则。
• 通过识别导致交易异常得分的具体模式共现，提供可解释的说明。
• 在合成数据集和真实世界数据集上展示该方法的有效性，表明其能检测到最先进技术所遗漏的异常。

提出的方法

• 提出 BnB 得分作为交易中所有模式共现组合里最大提升值的负对数。
• 使用 Slim 模式集以降低计算成本，避免挖掘全部闭合频繁项集的需要。
• 应用 BnB 得分根据模式共现的最意外（最不可能）组合对交易进行排序。
• 采用基于自举法的显著性检验，评估异常是否具有统计意义。
• 将 BnB 得分与现有异常检测框架集成，以补充而非取代其他异常类别。
• 通过识别交易中新颖性最高（提升值最低）的特定模式对，利用该方法解释异常。

实验结果

研究问题

• RQ1 能否将交易数据中单独常见但共现意外的模式组合正式定义为一类新型异常？
• RQ2 能否设计一种高效且可扩展的方法，在不穷举挖掘全部关联规则的前提下检测此类异常？
• RQ3 BnB 得分是否能将人工植入的合成异常（第2类）在排序中排在正常交易之前？
• RQ4 BnB 方法能否检测到现有方法（如 OC3 和 CompreX）所遗漏的真实世界异常？
• RQ5 BnB 得分能否通过识别导致交易异常的具体模式共现，提供可解释的说明？

主要发现

• 在合成数据集中，BnB 得分成功将所有植入的第2类异常（意外的模式共现）排在排名首位。
• 在 Adult 数据集中，BnB 方法检测到一名被描述为“女性丈夫”的高度异常个体，而 OC3 和 CompreX 均未标记该异常。
• 在 Zoo 数据集中，鸭嘴兽——一种独特的卵生哺乳动物——被判定为“正常”的概率不足 8%，表明其存在显著异常。
• 在 Bike Sharing 数据集中，BnB 方法检测到某一天出现了低温实际温度与高温体感温度的罕见共现，这是一例被先前方法遗漏的第2类异常。
• 在 Mammals 数据集中，BnB 正确识别出两个动物类群栖息地仅在极小区域交汇的两个高排名区域，通过模式共现解释了该异常。
• 使用 Slim 模式集后，BnB 方法在远短于全闭合频繁项集方法的时间内达到相近结果，证明了其可扩展性。