[논문 리뷰] Characterizing Classes of Potential Outliers through Traffic Data Set Data Signature 2D nMDS Projection

Erlo Robert F. Oquendo, Jhoirene Clemente외 2명|arXiv (Cornell University)|2017. 02. 24.

Traffic and Road Safety참고 문헌 1인용 수 3

한 줄 요약

이 논문은 2006년 NLEX 발린타와크 남부 방향 데이터셋을 사용하여, 2D 비거리수치 다차원 척도화(nMDS) 투영과 신뢰구간, 타원을 결합한 공식적이고 통계적으로 타당한 방법을 제안한다. 이 방법은 잠재적 이상치를 절대적, 타당성 있는, 모호한 이상치로 분류하며, 이전의 주관적 시각적 점검 방법보다 더 높은 정밀도를 달성한다. 기존 문헌에서 보고된 10개의 이상치 외에 11개의 새로운 이상치를 식별하였다.

ABSTRACT

This paper presents a formal method for characterizing the potential outliers from the data signature projection of traffic data set using Non-Metric Multidimensional Scaling (nMDS) visualization. Previous work had only relied on visual inspection and the subjective nature of this technique may derive false and invalid potential outliers. The identification of correct potential outliers had already been an open problem proposed in literature. This is due to the fact that they pinpoint areas and time frames where traffic incidents/accidents occur along the North Luzon Expressway (NLEX) in Luzon. In this paper, potential outliers are classified into (1) absolute potential outliers; (2) valid potential outliers; and (3) ambiguous potential outliers through the use of confidence bands and confidence ellipse. A method is also described to validate cluster membership of identified ambiguous potential outliers. Using the 2006 NLEX Balintawak Northbound (BLK-NB) data set, we were able to identify two absolute potential outliers, nine valid potential outliers, and five ambiguous potential outliers. In a literature where Vector Fusion was used, 10 potential outliers were identified. Given the results for the nMDS visualization using the confidence bands and confidence ellipses, all of these 10 potential outliers were also found and 8 new potential outliers were also found.

연구 동기 및 목표

• 주관적인 시각적 점검으로 인해 신뢰할 수 없는 이상치 식별 문제를 해결하기 위해.
• 데이터 서명 시각화를 통해 교통 데이터셋의 잠재적 이상치 탐지를 공식화하기 위해.
• 통계적 신뢰 영역을 기반으로 식별된 이상자를 절대적, 타당성 있는, 모호한 세 가지 유형으로 분류하기 위해.
• 모호한 이상자의 군집 소속성을 정의된 방법으로 검증하여 분류의 신뢰성을 향상시키기 위해.

제안 방법

• 고차원 교통 데이터 서명을 2차원 시각화 공간으로 투영하기 위해 비거리수치 다차원 척도화(nMDS)를 적용한다.
• nMDS에 통합된 데이터 포인트 주변에 95% 신뢰구간과 신뢰 타원을 구성하여 이상치 탐지의 통계적 경계를 정의한다.
• 신뢰구간과 타원에 대한 상대적 위치에 따라 이상자를 분류한다: 둘 다 바깥에 있으면 절대적, 하나만 바깥에 있으면 타당성 있는, 경계 근처에 있으면 모호한.
• 모호한 이상자의 군집 소속성을 평가하기 위해 군집 검증 기법을 사용하여, 군집 중심에 가까워서 잘못 분류되는 것을 방지한다.
• 주요 실증 사례로 2006년 NLEX 발린타와크 남부 방향(BLK-NB) 교통 데이터셋을 분석한다.
• 이전 연구에서 Vector Fusion를 사용해 10개의 이상자를 식별한 바가 있으므로, 이를 기준으로 감도와 발견 능력을 평가한다.

실험 결과

연구 질문

• RQ1 통계적 신뢰 영역은 시각적 점검만으로는 신뢰할 수 없는 이상치 탐지의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ2 nMDS 투영과 함께 사용된 신뢰구간 및 타원을 통해 식별 가능한 잠재적 이상자의 유형은 무엇인가?
• RQ3 제안된 방법은 이전 연구에서 다른 기법을 사용해 식별된 이상자 외에 새로운 이상자를 탐지할 수 있는가?
• RQ4 모호한 이상자의 군집 소속성을 어떻게 검증하여 임의의 양성 결과를 줄일 수 있는가?
• RQ5 nMDS 기반 접근법은 Vector Fusion와 같은 이전 방법보다 이상치 식별에서 더 우수한 성능을 보이는가, 아니면 유사한 성능을 유지하는가?

주요 결과

• 2006년 NLEX 발린타와크 남부 방향 데이터셋에서 두 개의 절대적 잠재 이상자, 아홉 개의 타당성 있는 잠재 이상자, 다섯 개의 모호한 잠재 이상자를 식별하였다.
• 이전에 Vector Fusion를 사용해 보고된 10개의 잠재 이상자 모두가 nMDS 기반 접근법과 함께 신뢰 영역을 적용하여 성공적으로 복원되었다.
• 이전 Vector Fusion 연구에서 식별되지 않은 여덟 개의 새로운 잠재 이상자를 발견하여, 더 높은 감도를 보였다.
• 신뢰구간과 타원의 사용으로 이상자 분류의 주관성이 크게 감소하였으며, 공식적이고 반복 가능한 과정을 가능하게 하였다.
• 군집 검증 방법이 모호한 이상자의 소속성을 성공적으로 평가하여 분류의 신뢰성을 향상시켰다.
• 결과적으로 nMDS와 통계적 신뢰 영역을 결합한 방법은 교통 관련 이질성을 식별하는 데 더 강력하고 객관적인 프레임워크를 제공함을 보여주었다.