[논문 리뷰] Fast Change Point Detection on Dynamic Social Networks

Yu Wang, Aniket Chakrabarti외 2명|arXiv (Cornell University)|2017. 05. 20.

Complex Network Analysis Techniques참고 문헌 13인용 수 12

한 줄 요약

이 논문은 가능도 최대화와 간선 분포 추정을 사용하여 동적 사회망에서 빠르고 효율적이며 정확한 변화점 탐지 알고리즘을 제안한다. 네트워크의 진화를 일계 마르코프 과정으로 모델링하고 간선 확률에 대한 일致하고 편향이 없는 추정기를 적용함으로써, DeltaCon 대비 최대 9배의 속도 향상을 이룩하면서도 합성 및 실세계 네트워크 모두에서 탐지 정확도를 향상시킨다. 이는 미국 상원 공동서명 네트워크와 유엔 투표 네트워크를 포함한다.

ABSTRACT

A number of real world problems in many domains (e.g. sociology, biology, political science and communication networks) can be modeled as dynamic networks with nodes representing entities of interest and edges representing interactions among the entities at different points in time. A common representation for such models is the snapshot model - where a network is defined at logical time-stamps. An important problem under this model is change point detection. In this work we devise an effective and efficient three-step-approach for detecting change points in dynamic networks under the snapshot model. Our algorithm achieves up to 9X speedup over the state-of-the-art while improving quality on both synthetic and real world networks.

연구 동기 및 목표

• 스냅샷 모델 하에서 동적 네트워크의 변화점 탐지를 위한 효율적이고 정확한 방법을 개발하기 위해.
• 계산 효율성을 유지하면서도 네트워크 스냅샷 간의 시간적 의존성을 고려하기 위해.
• DeltaCon과 LetoChange와 같은 기존 방법을 개선하기 위해 런타임을 단축시키되 탐지 정확도를 희생시키지 않기 위해.
• 다양한 생성 네트워크 모델에 일반적으로 적용 가능한 솔루션을 제공하기 위해.
• 대규모 네트워크에 적합한 제한된 메모리 조건 하에서 실시간 탐지가 가능하도록 하기 위해.

제안 방법

• 이 방법은 연속적인 스냅샷 간의 시간적 의존성을 포착하기 위해 네트워크 진화를 일계 마르코프 과정으로 모델링한다.
• 노드 쌍(다이드) 간의 간선 확률을 추정하기 위해 최대우도추정기(MLE)를 사용한다.
• 작은 윈도우에서 MLE의 편향 문제를 해결하기 위해, 그룹화된 다이드 샘플링과 중앙값 선택 기반의 일致하고 편향이 없는 추정기를 도입한다.
• 추정된 간선 분포에 대해 KL 발산과 유클리드 거리를 사용하여 스냅샷 간의 이질성(비유사도)을 계산한다.
• 기본 생성 모델의 변화를 나타내는 가능도의 급격한 감소를 식별함으로써 변화점을 탐지한다.
• 이 방법은 일정한 메모리 오버헤드를 가지며, 사용자 정의 윈도우 크기를 통해 조절 가능하다.

실험 결과

연구 질문

• RQ1 모델에 종속되지 않는 접근 방식이 기존 방법보다 동적 네트워크의 변화점 탐지에서 더 효율적인가?
• RQ2 시간적 의존성을 통합함으로써 변화점 탐지 정확도는 어떻게 향상되는가?
• RQ3 작은 윈도우에서 추정기의 편향은 어떤 영향을 미치며, 이를 어떻게 보정할 수 있는가?
• RQ4 가능도 기반 방법이 실세계 및 합성 네트워크에서 고속과 고정확도를 동시에 달성할 수 있는가?
• RQ5 네트워크 크기와 스냅샷 수가 증가함에 따라 이 방법의 스케일링 능력은 어떠한가?

주요 결과

• 제안된 EdgeMonitoring(EM-KL) 방법은 가장 큰 데이터셋(50k 스냅샷, 50k 노드)에서 DeltaCon 대비 최대 9배의 속도 향상을 기록했으며, 10k 노드 네트워크에서는 8배의 속도 향상을 기록했다.
• EM-KL은 합성 네트워크에서 완벽한 정밀도와 재현율을 달성했으며, 낮은 변동성에도 불구하고 두 개의 변화점을 놓친 DeltaCon를 능가했다.
• 미국 상원 공동서명 네트워크에서, 이 방법은 제100대와 제104대 Congres를 모두 변화점으로 정확히 식별했으며, DeltaCon는 제104대만 탐지했다.
• 이 방법은 ER, SBM, BTER 등 다양한 네트워크 모델과 실세계 데이터셋(Enron, 유엔 투표 네트워크 포함)에서 높은 정확도를 유지했다.
• 그룹화된 다이드와 중앙값 선택의 사용은 추정기의 변동성을 크게 감소시켰고, 특히 작은 윈도우에서 강건성을 향상시켰다.
• 알고리즘은 효율적으로 확장되었으며, 50k 스냅샷(50k 노드)에 대해 26분이 소요되었고, DeltaCon는 10시간이 소요되었으며, LetoChange는 더 큰 데이터셋에서 48시간 제한을 초과했다.