[논문 리뷰] Pattern and Anomaly Detection in Urban Temporal Networks

Mingyi He, Shivam Pathak외 5명|arXiv (Cornell University)|2019. 11. 25.

Anomaly Detection Techniques and Applications참고 문헌 38인용 수 6

한 줄 요약

이 논문은 도시 시간적 네트워크에서 이상 탐지를 위한 세 단계 파이프라인을 제안한다. 네트워크 집약을 위해 커뮤니티 탐지, 차원 감소를 위해 주성분 분석(PCA), 이상 탐지를 위한 클러스터링 기반 방법으로 가우시안 믹스처 모델(GMM)을 통합한다. 뉴욕 시티 택시 및 타이페이 지하철 데이터를 대상으로 평가한 결과, AUROC 점수가 각각 0.95(뉴욕), 0.93(타이페이)를 기록하여 기준 시간 시리즈 및 노드 기반 집약 방법을 능가했으며, 네트워크의 위상적 구조를 유지하고 局소적 이상을 탐지하는 데 성공했다.

ABSTRACT

Broad spectrum of urban activities including mobility can be modeled as temporal networks evolving over time. Abrupt changes in urban dynamics caused by events such as disruption of civic operations, mass crowd gatherings, holidays and natural disasters are potentially reflected in these temporal mobility networks. Identification and early detecting of such abnormal developments is of critical importance for transportation planning and security. Anomaly detection from high dimensional network data is a challenging task as edge level measurements often have low values and high variance resulting in high noise-to-signal ratio. In this study, we propose a generic three-phase pipeline approach to tackle curse of dimensionality and noisiness of the original data. Our pipeline consists of i) initial network aggregation leveraging community detection ii) unsupervised dimensionality reduction iii) clustering of the resulting representations for outlier detection. We perform extensive experiments to evaluate the proposed approach on mobility data collected from two major cities, New York City and Taipei. Our results empirically prove that proposed methodology outperforms traditional approaches for anomaly detection. We further argue that the proposed anomaly detection framework is potentially generalizable to various other types of temporal networks e.g. social interactions, information propagation and epidemic spread.

연구 동기 및 목표

• 고차원적이고 노이즈가 많은 도시 시간적 네트워크에서 이상 사건을 탐지하는 과제를 해결하기 위해.
• 기존 시간 시리즈 및 노드 기반 집약 방법이 위상적 및 국소 패턴 정보를 상실하는 데서 비롯하는 한계를 극복하기 위해.
• 라벨이 없는 데이터에 의존하지 않고도 전체 네트워크 상태가 정상 패턴에서 벗어나며 발생하는 사건 이상을 탐지할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 커뮤니티 탐지, 차원 감소, 클러스터링의 조합이 이상 탐지에 있어 의미 있는 네트워크 동역학을 포착하는 데 얼마나 효과적인지 평가하기 위해.
• 이러한 방법이 다양한 도시 지리적 환경과 이동성 데이터 유형(예: 택시 및 지하철 네트워크)에 걸쳐 얼마나 강건한지 입증하기 위해.

제안 방법

• 위상적 및 구조적 패턴을 유지하면서 네트워크의 구조를 간소화하는 커뮤니티 탐지를 통한 초기 네트워크 집약.
• 노이즈 감소 및 고차원 집약 표현을 다루기 위한 주성분 분석(PCA)을 통한 비지도 차원 감소.
• 저차원 표현의 클러스터링을 위해 가우시안 믹스처 모델(GMM)을 사용하여 가능도 점수를 할당하고 가능도가 낮은(이상적인) 네트워크 상태를 식별하기.
• 매우 낮은 가능도 점수를 가진 네트워크 상태를 이상으로 분류함으로써 이상 탐지 수행.
• 다양한 파이프라인 구성 간 비교: IO+PCA, Comm+PCA, IO+AE, Comm+AE, 및 기준 시간 시리즈 집약.
• 다양한 이상 탐지 임계치에서 성능 평가하기 위해 AUROC를 주요 평가 지표로 사용.

실험 결과

연구 질문

• RQ1 커뮤니티 탐지, 차원 감소, 클러스터링을 조합한 세 단계 파이프라인은 기존 집약 기반 방법보다 도시 시간적 네트워크에서 이상을 더 효과적으로 탐지할 수 있는가?
• RQ2 집약 과정에서 위상적 구조를 유지할 경우, 노드 기반 또는 시스템 전체 집약 대비 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ3 이러한 이상 탐지 작업에서 PCA는 자동에코더(AE)보다 성능이 뛰어나게 작용하는가?
• RQ4 이러한 파이프라인은 택시 및 지하철 네트워크와 같은 다양한 도시와 이동성 데이터 유형에 얼마나 일반화 가능한가?
• RQ5 파이프라인의 각 단계가 전체 탐지 성능에 기여하는 정도는 어떠한가? 특히 국소적 이상과 전역적 이상을 식별하는 데서 어떤 기여를 하는가?

주요 결과

• 제안된 파이프라인(Comm + PCA)은 뉴욕에서 AUROC 0.95, 타이페이에서 0.93를 기록하여 기준 시간 시리즈 기반 방법(각각 0.70 및 0.53)을 크게 능가했다.
• 모든 파이프라인 구성, 특히 차원 감소를 포함한 구성은 기준 시간 시리즈 방법보다 뛰어났으며, 기준 방법은 위상 정보 손실로 인해 국소적 이상을 탐지하지 못했다.
• 커뮤니티 탐지 기반 집약(Comm)은 노드 기반(IO) 집약보다 더 좋은 성능을 보였으며, 이는 구조적 패턴과 연결성을 유지했기 때문이다. 반면 IO 집약은 국소 유량 변화만 반영했다.
• PCA는 대부분의 경우 자동에코더보다 성능이 뛰어났지만, 타이페이의 경우 IO+AE 구성에서 예외를 보였으며, 이는 이 데이터 크기와 구조에서는 비선형 방법이 유용하지 않을 수 있음을 시사한다.
• 세 단계 파이프라인이 필수적이었다. 집약과 차원 감소 모두 중요했으며, 두 단계로 구성된 접근 방식(예: IO+PCA)은 전체 파이프라인보다 성능이 열 劣했다.
• 이 방법은 지리적·구조적으로 상이한 도시 간에 강력한 일반화 능력을 보였으며, 사회적, 정보적, 전염병 역학 등 다양한 시간적 네트워크에 광범위하게 적용 가능할 잠재력을 보였다.