[논문 리뷰] Fast Memory-efficient Anomaly Detection in Streaming Heterogeneous Graphs

Emaad Manzoor, Sadegh Momeni외 2명|arXiv (Cornell University)|2016. 02. 15.

Network Security and Intrusion Detection참고 문헌 32인용 수 5

한 줄 요약

StreamSpot는 유형이 다른 간선의 스트리밍 스트림으로부터 실시간으로 이상 탐지하는 메모리 효율적인 이상 탐지 시스템으로, 스키밍 기반 유사도 함수와 스케치 기법을 사용하여 일정 시간 내에 업데이트되고 메모리가 제한된 실시간 클러스터링과 이상 점수를 가능하게 한다. 이 시스템은 시스템 호출 흐름 그래프에서 95% 이상의 탐지 정확도를 달성하면서도 초당 100,000개 이상의 간선을 처리한다.

ABSTRACT

Given a stream of heterogeneous graphs containing different types of nodes and edges, how can we spot anomalous ones in real-time while consuming bounded memory? This problem is motivated by and generalizes from its application in security to host-level advanced persistent threat (APT) detection. We propose StreamSpot, a clustering based anomaly detection approach that addresses challenges in two key fronts: (1) heterogeneity, and (2) streaming nature. We introduce a new similarity function for heterogeneous graphs that compares two graphs based on their relative frequency of local substructures, represented as short strings. This function lends itself to a vector representation of a graph, which is (a) fast to compute, and (b) amenable to a sketched version with bounded size that preserves similarity. StreamSpot exhibits desirable properties that a streaming application requires---it is (i) fully-streaming; processing the stream one edge at a time as it arrives, (ii) memory-efficient; requiring constant space for the sketches and the clustering, (iii) fast; taking constant time to update the graph sketches and the cluster summaries that can process over 100K edges per second, and (iv) online; scoring and flagging anomalies in real time. Experiments on datasets containing simulated system-call flow graphs from normal browser activity and various attack scenarios (ground truth) show that our proposed StreamSpot is high-performance; achieving above 95% detection accuracy with small delay, as well as competitive time and memory usage.

연구 동기 및 목표

• 지속적인 유형 간선 스트림으로부터 실시간으로 이질적 그래프의 이상을 탐지하는 과제를 해결하기 위해.
• 고속도 그래프 스트림을 처리하면서도 메모리 사용을 제한된 수준으로 유지하는 방법을 설계하기 위해.
• 배치 처리나 전체 그래프 스냅샷이 필요 없이 온라인 및 점진적인 이상 탐지를 가능하게 하기 위해.
• 저지연과 고정확도가 핵심인 호스트 수준의 APT 탐지와 같은 애플리케이션을 지원하기 위해.
• 보안을 넘어 스트리밍 이종 그래프 스트림에 대한 확장 가능한 실시간 클러스터링이 필요한 다른 분야로의 일반화를 위해.

제안 방법

• 짧은 문자열로 표현된 국소적 부분 구조의 상대 빈도를 기반으로 그래프를 비교하는 새로운 스키밍 기반 유사도 함수를 제안한다.
• 고정 크기의 요약으로 그래프 표현을 압축하면서도 유사도를 유지하는 스케치 기법인 StreamHash를 도입한다.
• 새로운 간선이 도착함에 따라 점진적으로 업데이트되는 중심점 기반 클러스터링 기법을 활용하여 온라인 이상 점수를 산정한다.
• 도착하는 각 간선에 대해 일정 시간 내에 업데이트되는 그래프 스케치와 클러스터 요약을 유지하여 고처리량을 확보한다.
• 융합 가능한 스케치 요약을 사용하여 완전히 스트리밍 방식으로 효율적인 클러스터링과 이상 탐지를 지원한다.
• 스냅샷 기반 처리를 피하기 위해 지속적이고 간선 수준에서 하나씩 간선을 처리한다.

실험 결과

연구 질문

• RQ1 제한된 메모리 조건에서 스트리밍 환경에서 이질적 그래프 간의 유사도를 효율적으로 계산할 수 있는가?
• RQ2 일정한 메모리 소비를 유지하면서도 그래프 유사도를 보존하는 스케칭 기법을 설계할 수 있는가?
• RQ3 새로운 간선이 도착함에 따라 실시간으로 클러스터링과 이상 탐지를 유지할 수 있는가?
• RQ4 실제 스트리밍 환경 조건에서 정확도, 지연 시간, 메모리 사용량 측면에서 시스템의 성능은 어떠한가?
• RQ5 이 접근법은 APT 탐지 외에도 다른 스트리밍 그래프 이상 탐지 작업으로 일반화될 수 있는가?

주요 결과

• StreamSpot는 실제 공격 시나리오가 포함된 시뮬레이션된 시스템 호출 흐름 그래프에서 95% 이상의 탐지 정확도를 달성한다.
• 시스템은 초당 100,000개 이상의 간선을 처리하여 고처리량과 낮은 지연 시간을 입증한다.
• 메모리 사용량은 제한되어 있으며 일정하게 유지되며, 스케치와 클러스터 요약은 스트림 길이에 관계없이 고정된 공간을 소비한다.
• 엄격한 메모리 제약 조건에서도 높은 성능을 유지하여 정확도와 속도를 그대로 확보한다.
• 스케칭 기법은 유사도 보존 압축을 가능하게 하여 실시간 클러스터링을 실현 가능하게 한다.
• 시간 순서가 있는 다형성 있는 노드/간선 유형을 가진 변화하는 이종 그래프에서 이상을 탐지하는 데 효과적이다.