[논문 리뷰] Detecting weak changes in dynamic events over networks

Shuang Li, Yao Xie외 3명|arXiv (Cornell University)|2016. 03. 29.

Anomaly Detection Techniques and Applications참고 문헌 41인용 수 7

한 줄 요약

이 논문은 순차적 가설 검정과 점과정 모델링을 사용하여 네트워크 상의 다차원 이벤트 스트림에 대한 새로운 온라인 변화점 탐지 프레임워크를 제안한다. 이는 매개변수를 필요로 하지 않는 분산형 EM 유사 알고리즘을 도입하여 우도 비율을 효율적으로 계산하고, 이론적 ARL 근사치를 통해 정확한 위양성 비율 제어를 달성하며, 실세계의 Twitter 및 Memetracker 데이터셋에서 약한 신호를 탐지하는 데 뛰어난 성능을 보인다.

ABSTRACT

Large volume of networked streaming event data are becoming increasingly available in a wide variety of applications, such as social network analysis, Internet traffic monitoring and healthcare analytics. Streaming event data are discrete observation occurred in continuous time, and the precise time interval between two events carries a great deal of information about the dynamics of the underlying systems. How to promptly detect changes in these dynamic systems using these streaming event data? In this paper, we propose a novel change-point detection framework for multi-dimensional event data over networks. We cast the problem into sequential hypothesis test, and derive the likelihood ratios for point processes, which are computed efficiently via an EM-like algorithm that is parameter-free and can be computed in a distributed fashion. We derive a highly accurate theoretical characterization of the false-alarm-rate, and show that it can achieve weak signal detection by aggregating local statistics over time and networks. Finally, we demonstrate the good performance of our algorithm on numerical examples and real-world datasets from twitter and Memetracker.

연구 동기 및 목표

• 네트워크 상의 고차원적, 이종적인 이벤트 스트림에서 시간적·공간적으로 군집된 약한 변화를 탐지하는 과제를 해결하기 위해.
• 대규모 네트워크에서 실시간으로 탐지 통계를 업데이트할 수 있는 계산 효율성이 높은 분산 알고리즘을 개발하기 위해.
• 네트워크 이벤트 데이터의 변화점 탐지에 대한 위양성 비율에 대한 이론적 기반의 특성화를 제공하기 위해.
• 실시간 스트리밍 데이터에서 이질성, 전염병, 트렌딩 주제 또는 브레이킹 뉴스를 조기에 탐지할 수 있도록 하기 위해.
• 이산형 동일분포(i.i.d.) 및 시계열 모델이 이벤트 데이터의 시간적 및 다차원 간 상호의존성을 포착하는 데 한계를 보이는 문제를 극복하기 위해.

제안 방법

• 변화점 탐지를 변화 전후의 이벤트 스트림에 대한 점과정 모델을 사용한 순차적 가설 검정으로 공식화한다.
• 노드 간 자기흥화 및 상호흥화를 포착하기 위해 네트워크화된 Hawkes 과정을 사용하여 이벤트 동역학을 모델링한다.
• 점과정의 강도 함수에 대한 변화를 탐지하기 위한 우도 비율 통계량을 유도한다.
• 매개변수 조정이 필요 없이 효율적이고 분산 방식으로 우도 비율 통계량을 계산하기 위해 EM 유사 알고리즘을 활용한다.
• 평균 정류 길이(ARL)의 이론적 근사치를 사용하여 위양성 비율을 정확히 제어한다.
• 시간과 네트워크 노드 간 국소 통계를 집계하여 약한 신호에 대한 탐지 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 신호가 희박하고 시간적으로 군집된 동적 이벤트 스트림에서 약한 변화를 어떻게 탐지할 수 있는가?
• RQ2 고속도 이벤트 데이터에 대해 실시간으로 탐지 통계를 효율적으로 업데이트할 수 있는 확장 가능하고 분산된 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 네트워크화된 점과정에서의 변화점 탐지 통계의 위양성 비율을 이론적으로 어떻게 특성화할 수 있는가?
• RQ4 시간적 및 네트워크 전역 집계가 약한 신호에 대한 탐지 민감도를 얼마나 향상시킬 수 있는가?
• RQ5 제안된 방법이 브레이킹 뉴스나 바이럴 주제와 같은 실제 이벤트를 탐지하는 데 기존 베이스라인보다 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 제안된 알고리즘은 'Mr. Robot'의 골든 글로브 수상 및 수레시 레인아의 크리켓 매치와 같은 실제 Twitter 데이터에서 높은 시간 정밀도로 변화점을 성공적으로 탐지한다.
• Memetracker 데이터셋에서, 이 방법은 오바마의 선거, 이스라엘 정전 합의, 베이징 올림픽과 같은 주요 뉴스 이벤트에 해당하는 변화점을 정확히 식별하며, 종종 피크에 도달하기 2~3일 전에 변화를 탐지한다.
• 이론적 ARL 근사치는 매우 정확한 위양성 비율 제어를 제공하여 고비용의 몬테카를로 시뮬레이션에 대한 의존도를 줄인다.
• EM 유사 알고리즘이 우도 비율의 효율적이고 분산된 계산을 가능하게 하여 대규모 네트워크에 대한 확장성을 확보한다.
• 시간적 및 네트워크 전역 집계를 활용하여 약한 신호를 탐지하는 데 있어 두 개의 베이스라인 알고리즘보다 성능이 뛰어나다.
• 실험 결과는 알고리즘이 신호가 희박하고 노드 간에 동기화되지 않은 조건에서도 변화를 탐지할 수 있음을 보여주며, 약한 신호 조건에서도 뛰어난 강건성을 입증한다.