[논문 리뷰] Anomaly detection in the dynamics of web and social networks

Volodymyr Miz, Benjamin Ricaud외 2명|arXiv (Cornell University)|2019. 01. 22.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 동적 웹 및 소셜 네트워크에서 국소적 이상 현상을 탐지하기 위해 시간 활동 패턴을 히프리드 네트워크를 사용해 모델링함으로써 비지도이고 확장 가능한 방법을 제안한다. 이 방법은 위키백과 및 엔론 이메일 데이터셋에서 샤를 헤브도 공격이나 기업 사고와 같은 실제 사건들을 높은 정밀도로 식별하며, 부분적인 신호를 기억하는 것과 유사한 방식으로 이상 현상의 복원 능력을 통해 강건성과 해석 가능성(해석 가능성)을 입증한다.

ABSTRACT

In this work, we propose a new, fast and scalable method for anomaly detection in large time-evolving graphs. It may be a static graph with dynamic node attributes (e.g. time-series), or a graph evolving in time, such as a temporal network. We define an anomaly as a localized increase in temporal activity in a cluster of nodes. The algorithm is unsupervised. It is able to detect and track anomalous activity in a dynamic network despite the noise from multiple interfering sources. We use the Hopfield network model of memory to combine the graph and time information. We show that anomalies can be spotted with a good precision using a memory network. The presented approach is scalable and we provide a distributed implementation of the algorithm. To demonstrate its efficiency, we apply it to two datasets: Enron Email dataset and Wikipedia page views. We show that the anomalous spikes are triggered by the real-world events that impact the network dynamics. Besides, the structure of the clusters and the analysis of the time evolution associated with the detected events reveals interesting facts on how humans interact, exchange and search for information, opening the door to new quantitative studies on collective and social behavior on large and dynamic datasets.

연구 동기 및 목표

• 노드 활동이 정상 패턴에서 벗어나는 대규모 시간 변화 네트워크에서 국소적이고 집단적인 이상 현상을 탐지하는 과제를 해결하기 위해.
• 네트워크 구조와 시간 동적 패턴을 동시에 모델링하여 그래프 기반 이상 탐지와 시공간 데이터 마이닝을 연결하기 위해.
• 단순한 레이블을 넘어서 해석 가능한 풍부한 시공간 지표를 제공함으로써 도메인 전문가가 집단적 행동을 조사할 수 있도록 하기 위해.
• 전문 지식을 활용해 비이상 데이터를 사전에 걸러내는 '잠재적 이상' 개념을 도입함으로써 확장성을 향상시키기 위해.
• 이상 탐지와 기억 회상 간의 유사성을 탐색하여, 손상되거나 불완전한 입력에서 전체 이상 사건을 복원할 수 있도록 하기 위해.

제안 방법

• 동적 네트워크를 노드에 시계열 속성이 있는 소속 그래프로 모델링하며(예: 페이지 뷰 수 또는 이메일 수), 그래프 구조는 실체 간의 관계를 표현한다.
• 히프리드 네트워크를 사용해 시간 활동 패턴을 기억 상태로 인코딩함으로써, 시스템이 이상적인 집단적 행동을 학습하고 회상할 수 있도록 한다.
• 이상 현상은 연결된 노드 클러스터에서 활동이 국소적으로 증가하는 것으로 탐지되며, 히프리드 네트워크 내 반복적인 에너지 최소화를 통해 식별된다.
• 알고리즘은 이상 현상이 포함될 가능성이 높은 영역으로 계산을 제한하기 위해 '잠재적 이상' 개념을 사용함으로써 확장성을 크게 향상시킨다.
• Apache Spark GraphX를 사용한 분산 구현을 통해 위키백과 및 엔론 이메일 로그와 같은 대규모 데이터셋을 처리할 수 있다.
• 부분적인 노드 활동에서 전체 이상 사건을 복원함으로써, 불완전한 입력에서의 복구를 지원함으로써 기억 회복을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 노드 활동이 복잡하고 동시에 발생하지 않는 방식으로 변화하는 대규모 시간 변화 네트워크에서 국소적이고 집단적인 이상 현상을 어떻게 탐지할 수 있는가?
• RQ2 히프리드 네트워크는 동적 네트워크 데이터에서 시공간 이상 패턴을 효과적으로 학습하고 회상할 수 있는가?
• RQ3 얼마나 잘 정확히 손상되거나 노이즈가 있는 입력에서 전체 이상 사건을 복원할 수 있는가? 이는 기억 회상과 유사한 방식으로 작동하는가?
• RQ4 탐지된 이상 현상은 실제 사건과 어떻게 관련되어 있으며, 집단적 인간 행동에 대해 어떤 통찰을 제공하는가?
• RQ5 '잠재적 이상' 개념은 대규모 동적 그래프에서 탐지 정확도를 희생시키지 않고도 확장성을 향상시킬 수 있는가?

주요 결과

• 이 방법은 샤를 헤브도 공격과 관련된 위키백과 페이지 뷰의 이상 증가를 성공적으로 탐지하였으며, 관련 기사들 간에 활동 급증이 동기화된 클러스터를 보였다.
• 엔론 이메일 데이터셋에서 알고리즘은 주요 기업 사고 기간 동안 이메일 교환 수가 급격히 증가한 직원 그룹을 식별하였으며, 실제로 조직 내 역학과 일치함을 확인하였다.
• 히프리드 네트워크 모델은 20%의 활성 노드에서부터 전체 이상 사건을 매우 낮은 재구성 오차로 복원하는 데 강력한 회상 능력을 보였다.
• 이론적으로 사건 범위 외부의 활동은 잊어버리는 것으로 확인되어, 오직 관련 있고 인과관계가 있는 신호만을 캐치함으로써 노이즈를 줄이고 해석 가능성을 향상시켰다.
• 모델는 하이퍼파rameter 조정에 대해 매우 강건하여 실세계 적용에 실용적임을 보였다.
• 학습된 네트워크 구조는 주제와 사건 간의 연관성을 저장하고 복원하는 인공 집단 기억으로 기능하며, 인간 기억 시스템과 깊은 유사성을 보여주었다.