[论文解读] Characterizing Classes of Potential Outliers through Traffic Data Set Data Signature 2D nMDS Projection

Erlo Robert F. Oquendo, Jhoirene Clemente+2 more|arXiv (Cornell University)|Feb 24, 2017

Traffic and Road Safety参考文献 1被引用 3

一句话总结

本文提出一种形式化、基于统计的交通数据异常值分类方法，结合二维非度量多维尺度缩放（nMDS）投影与置信带和置信椭圆，实现对异常值的可靠识别。该方法将异常值划分为三类——绝对异常值、有效异常值和模糊异常值，相较于以往依赖人工视觉检查的方法，显著提升了精确度，在2006年NLEX Balintawak北行数据集中识别出11个新异常值，超出文献中先前报告的10个异常值。

ABSTRACT

This paper presents a formal method for characterizing the potential outliers from the data signature projection of traffic data set using Non-Metric Multidimensional Scaling (nMDS) visualization. Previous work had only relied on visual inspection and the subjective nature of this technique may derive false and invalid potential outliers. The identification of correct potential outliers had already been an open problem proposed in literature. This is due to the fact that they pinpoint areas and time frames where traffic incidents/accidents occur along the North Luzon Expressway (NLEX) in Luzon. In this paper, potential outliers are classified into (1) absolute potential outliers; (2) valid potential outliers; and (3) ambiguous potential outliers through the use of confidence bands and confidence ellipse. A method is also described to validate cluster membership of identified ambiguous potential outliers. Using the 2006 NLEX Balintawak Northbound (BLK-NB) data set, we were able to identify two absolute potential outliers, nine valid potential outliers, and five ambiguous potential outliers. In a literature where Vector Fusion was used, 10 potential outliers were identified. Given the results for the nMDS visualization using the confidence bands and confidence ellipses, all of these 10 potential outliers were also found and 8 new potential outliers were also found.

研究动机与目标

• 为解决由于依赖主观视觉检查而导致的交通数据异常值识别不可靠这一开放性问题。
• 通过数据特征可视化形式化交通数据集中的潜在异常值检测过程。
• 基于统计置信区域，将识别出的异常值划分为三类：绝对异常值、有效异常值和模糊异常值。
• 通过定义的方法验证模糊异常值的聚类成员关系，以提高分类的可靠性。

提出的方法

• 将非度量多维尺度缩放（nMDS）应用于高维交通数据特征，将其投影至二维可视化空间。
• 围绕nMDS嵌入的数据点构建95%置信带和置信椭圆，以定义异常值检测的统计边界。
• 根据异常值相对于置信带和置信椭圆的位置进行分类：若同时位于两者之外则为绝对异常值；若仅位于一个之外但位于另一个之内则为有效异常值；若靠近边界则为模糊异常值。
• 采用聚类验证技术评估模糊异常值的成员关系，确保其不会因靠近聚类中心而被误分类。
• 以2006年NLEX Balintawak北行（BLK-NB）交通数据集为主要实证测试案例。
• 与先前使用Vector Fusion方法的研究进行对比，该方法识别出10个异常值，以评估本方法的敏感性和发现能力。

实验结果

研究问题

• RQ1 与仅依赖视觉检查相比，统计置信区域在多大程度上能提升交通数据异常值检测的可靠性？
• RQ2 通过nMDS投影结合置信带和置信椭圆，可识别出哪些类型的潜在异常值？
• RQ3 所提出的方法是否能检测到先前研究中使用不同技术未发现的新异常值？
• RQ4 如何通过验证方法确保模糊异常值的聚类成员关系，以减少误报？
• RQ5 nMDS方法在识别有意义的交通异常值方面，与Vector Fusion等先前方法相比，表现如何？

主要发现

• 在2006年NLEX Balintawak北行数据集中，该方法识别出2个绝对潜在异常值、9个有效潜在异常值和5个模糊潜在异常值。
• 先前使用Vector Fusion方法报告的全部10个潜在异常值，均通过本nMDS方法结合置信区域成功复现。
• 本方法额外发现了8个在先前Vector Fusion研究中未被识别出的潜在异常值，表明其具有更高的敏感性。
• 置信带和置信椭圆的使用显著降低了异常值分类的主观性，实现了形式化、可重复的检测流程。
• 聚类验证方法成功评估了模糊异常值的成员关系，提升了分类结果的可靠性。
• 结果表明，结合统计置信区域的nMDS方法为识别交通异常现象提供了更稳健、更客观的框架。