[논문 리뷰] Real-Time Streaming Anomaly Detection in Dynamic Graphs

Siddharth Bhatia, Rui Liu외 4명|arXiv (Cornell University)|2020. 09. 17.

Network Security and Intrusion Detection참고 문헌 46인용 수 6

한 줄 요약

MIDAS-F는 동적 그래프 스트림에서 미크로클러스터 이상현상을 실시간으로 탐지하기 위한 상수시간 및 상수메모리 알고리즘이다—예를 들어 서비스 거부 공격에서 관찰되는 의심스럽게 유사한 간선의 집합. MIDAS에 비해 수정된 이상점 스코어 함수와 조건부 병합 단계를 통해 '오염' 효과를 감소시켜, 최신 기술 대비 ROC-AUC 정확도를 41%에서 55%까지 향상시키며, 데이터 처리 속도를 130배에서 929배 빠르게 한다.

ABSTRACT

Given a stream of graph edges from a dynamic graph, how can we assign anomaly scores to edges in an online manner, for the purpose of detecting unusual behavior, using constant time and memory? Existing approaches aim to detect individually surprising edges. In this work, we propose MIDAS, which focuses on detecting microcluster anomalies, or suddenly arriving groups of suspiciously similar edges, such as lockstep behavior, including denial of service attacks in network traffic data. We further propose MIDAS-F, to solve the problem by which anomalies are incorporated into the algorithm's internal states, creating a 'poisoning' effect which can allow future anomalies to slip through undetected. MIDAS-F introduces two modifications: 1) We modify the anomaly scoring function, aiming to reduce the 'poisoning' effect of newly arriving edges; 2) We introduce a conditional merge step, which updates the algorithm's data structures after each time tick, but only if the anomaly score is below a threshold value, also to reduce the `poisoning' effect. Experiments show that MIDAS-F has significantly higher accuracy than MIDAS. MIDAS has the following properties: (a) it detects microcluster anomalies while providing theoretical guarantees about its false positive probability; (b) it is online, thus processing each edge in constant time and constant memory, and also processes the data 130 to 929 times faster than state-of-the-art approaches; (c) it provides 41% to 55% higher accuracy (in terms of ROC-AUC) than state-of-the-art approaches.

연구 동기 및 목표

• 네트워크 트래픽에서 서비스 거부 공격에 관여하는 바와 같이 갑작스럽게 유사한 간선의 집합인 미크로클러스터 이상현상을 탐지하기 위해.
• 각 간선을 상수 시간 및 상수 메모리로 처리할 수 있는 온라인 알고리즘을 설계하여 실시간 확장성을 확보하기 위해.
• 이상점 간선이 알고리즘 내부 상태를 오염시켜 향후 탐지 성능을 떨어뜨리는 '오염' 효과를 완화하기 위해.
• 기존 방법 대비 높은 정확도를 확보하면서도 동적 그래프 스트림 환경에서 고속 처리를 유지하기 위해.

제안 방법

• MIDAS-F는 이상점 스코어 함수를 수정하여 신규 도착한 이상점 간선이 알고리즘 내부 상태에 미치는 영향을 줄인다.
• 이상점 스코어가 사전 정의된 임계값 이하일 경우에만 데이터 구조를 업데이트하는 조건부 병합 단계를 도입하여 이상 신호의 확산을 최소화한다.
• 가짜 경고 확률에 대한 이론적 보장을 유지하여 이상점 탐지의 신뢰성을 확보한다.
• 온라인 방식으로 작동하며, 각 간선을 상수 시간 및 상수 메모리로 처리하여 고처리량 스트림 처리를 가능하게 한다.
• 간선 업데이트를 순차적으로 처리하는 스트리밍 모델을 활용하며, 이상점 스코어는 점진적으로 계산된다.
• 개별적으로 놀라운 간선이 아닌, 유사한 간선의 군집을 탐지하도록 설계되어 있어 집단적인 의심스러운 행동에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 이론적 가짜 경고 확률 보장을 확보하면서도 상수 시간 및 상수 메모리 복잡도를 유지하는 조건에서, 동적 그래프 스트림에서 미크로클러스터 이상현상을 탐지할 수 있는가?
• RQ2 이상점 간선의 '오염' 효과가 시간이 지남에 따라 탐지 성능을 얼마나 떨어뜨리는가? 그리고 온라인 환경에서 효과적으로 완화될 수 있는가?
• RQ3 MIDAS-F에서 수정된 스코어 함수와 조건부 병합 단계는 MIDAS 및 최신 기술 대비 탐지 정확도를 어느 정도 향상시키는가?
• RQ4 실제 그래프 스트림 워크로드를 처리할 때 MIDAS-F는 속도와 정확도 측면에서 어떻게 확장되는가?

주요 결과

• MIDAS-F는 동적 그래프 스트림 데이터에서 최신 기술 대비 ROC-AUC 정확도를 41%에서 55%까지 향상시킨다.
• 상수시간 및 상수메모리 설계 덕분에, 기존 최신 기술 대비 데이터 처리 속도가 130배에서 929배 빠르다.
• MIDAS-F의 조건부 병합 단계와 수정된 이상점 스코어 함수는 '오염' 효과를 크게 감소시켜 장기적인 탐지 신뢰도를 향상시킨다.
• MIDAS-F는 가짜 경고 확률에 대한 이론적 보장을 유지하여 이상점 탐지의 강건성을 확보한다.
• 잠금 동기화 행동과 같은 미크로클러스터 이상현상을 성공적으로 탐지하여 서비스 거부 공격의 징후로 활용된다.
• MIDAS-F는 정확도에서 MIDAS를 능가하여 실시간 스트리밍 환경에서의 오염 방지 메커니즘의 효과성을 입증한다.