[논문 리뷰] Multi-Level Anomaly Detection on Streaming Graph Data.

Robert A. Bridges, John P. Collins외 3명|arXiv (Cornell University)|2014. 10. 16.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 1

한 줄 요약

이 논문은 계층적 커뮤니티 구조를 포착하는 일반화된 BTER 모델을 사용하여 스트리밍 그래프 데이터에 대한 다중 수준 이상 탐지 프레임워크를 제안한다. 다양한 척도에서 확률을 집계함으로써 높은 정밀도와 재현율을 달성하여 노드, 부분그래프, 그래프 수준에서 이상을 탐지할 수 있으며, 직관적인 시각화와 원인 분석을 가능하게 한다.

ABSTRACT

As a natural structure for representing entities and in-teractions, graphs are commonly used in many domains. Because of inherent complexity, converting graph data to meaningful information through analysis or visual-ization is often challenging. Identifying patterns and aberrations in graph data can pinpoint areas of inter-est, provide context for deeper understanding, and en-able discovery in many applications. This work presents a novel modeling and analysis framework for graph sequences. The framework ad-dresses the issues of modeling, detecting anomalies at multiple scales, and enabling understanding of graph data. A new graph model, generalizing the BTER model of Seshadhri et al. by adding flexibility to com-munity structure, is introduced and used to perform multi-scale graph anomaly detection. Specifically, prob-ability models describing coarse subgraphs are built by aggregating probabilities at finer levels, and these closely related hierarchical models simultaneously de-tect deviations from expectation. This technique pro-vides insight into the graph’s structure and internal con-text that may shed light on a detected event. Addition-ally, this multi-scale analysis facilitates intuitive visu-alizations by allowing users to narrow focus from an anomalous graph to particular subgraphs causing the anomaly. For evaluation, two hierarchical anomaly de-tectors are tested against a baseline on a series of sam-pled graphs. The superior hierarchical detector outper-forms the baseline, and changes in community struc-ture are accurately detected at the node, subgraph, and graph levels. To illustrate the accessibility of informa-tion made possible via this technique, a prototype vi-sualization tool, informed by the multi-scale analysis is tested on NCAA football data. Teams and confer-ences exhibiting changes in membership are identified with greater than 92 % precision and recall. Screenshots of an interactive visualization, allowing users to probe into selected communities, are given.

연구 동기 및 목표

• 기본적인 구조적 복잡성과 동적 변화로 인해 스트리밍 그래프 데이터에서 이상을 탐지하는 데 도전하는 문제를 해결한다.
• 노드, 부분그래프, 그래프 수준에서 동시에 이상을 탐지할 수 있는 다중 척도 이상 탐지 기능을 제공한다.
• 계층적 모델링을 통해 탐지된 이상의 구조적 맥락에 대한 해석 가능한 통찰을 제공한다.
• 이상이 발생한 특정 부분그래프로의 드릴다운을 가능하게 하여 사용자가 직관적으로 시각화할 수 있도록 지원한다.
• 실세계 데이터를 대상으로 높은 탐지 정확도와 구조적 해석 가능성으로 프레임워크의 효과성을 입증한다.

제안 방법

• 원래 BTER 모델을 확장하여 민첩한 커뮤니티 구조 모델링을 가능하게 하는 일반화된 BTER 모델을 도입한다.
• 세밀한 부분그래프에서 더 넓은 척도의 부분그래프로의 확률 집계를 통해 계층적 확률 모델을 구축한다.
• 이러한 계층적 모델을 사용하여 다양한 척도에서 예상되는 구조적 패턴에서의 이탈을 탐지한다.
• 확률 집계를 적용하여 국소적 이상을 글로벌 그래프 수준의 이탈과 연결함으로써 맥락 인식 탐지 기능을 실현한다.
• 탐지된 커뮤니티와 부분그래프를 탐색할 수 있는 상호작용형 시각화 도구의 프로토타입을 개발한다.
• 샘플링된 그래프 시퀀스와 실제 NCAA 축구 데이터를 대상으로 프레임워크의 탐지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 노드, 부분그래프, 그래프 수준에서 동시에 다양한 구조적 척도에서 그래프 이상을 어떻게 탐지할 수 있는가?
• RQ2 계층적 확률 모델링은 기준선 방법에 비해 이상 탐지 정확도를 향상시킬 수 있는가?
• RQ3 이 프레임워크는 팀 또는 컨ference 소속 변화와 같은 커뮤니티 구조의 변화를 어느 정도 잘 식별할 수 있는가?
• RQ4 시각화 도구는 탐지된 이상의 원인을 탐색하고 이해하는 데 얼마나 효과적인가?
• RQ5 이 방법은 높은 정밀도와 재현율로 스트리밍 그래프 데이터의 구조적 변화를 탐지할 수 있는가?

주요 결과

• 계층적 이상 탐지기는 모든 척도에서 기준선 대비 유의미하게 뛰어난 이상 탐지 성능을 보였다.
• NCAA 축구에서의 팀 소속 변화와 같은 커뮤니티 구조 변화는 92% 이상의 정밀도와 재현율로 탐지되었다.
• 다중 척도 프레임워크는 국소적 이탈을 글로벌 그래프 수준 이상과 연결함으로써 이례적인 부분그래프를 성공적으로 식별했다.
• 시각화 도구를 통해 사용자는 특정 커뮤니티로 드릴다운하여 탐지된 사건의 맥락을 더 잘 이해하고 해석할 수 있었다.
• 계층적 수준 간의 확률 집계는 탐지된 이상의 내부 구조와 맥락에 대한 의미 있는 통찰을 제공했다.