[论文解读] Fast Memory-efficient Anomaly Detection in Streaming Heterogeneous Graphs

Emaad Manzoor, Sadegh Momeni+2 more|arXiv (Cornell University)|Feb 15, 2016

Network Security and Intrusion Detection参考文献 32被引用 5

一句话总结

StreamSpot 是一种用于异构图的流式、内存高效的异常检测系统，采用基于 shingling 的相似性函数和 sketching 技术，实现常数时间更新和有界内存下的实时聚类与异常评分。它在系统调用流图上的检测准确率超过 95%，同时每秒处理超过 100,000 条边。

ABSTRACT

Given a stream of heterogeneous graphs containing different types of nodes and edges, how can we spot anomalous ones in real-time while consuming bounded memory? This problem is motivated by and generalizes from its application in security to host-level advanced persistent threat (APT) detection. We propose StreamSpot, a clustering based anomaly detection approach that addresses challenges in two key fronts: (1) heterogeneity, and (2) streaming nature. We introduce a new similarity function for heterogeneous graphs that compares two graphs based on their relative frequency of local substructures, represented as short strings. This function lends itself to a vector representation of a graph, which is (a) fast to compute, and (b) amenable to a sketched version with bounded size that preserves similarity. StreamSpot exhibits desirable properties that a streaming application requires---it is (i) fully-streaming; processing the stream one edge at a time as it arrives, (ii) memory-efficient; requiring constant space for the sketches and the clustering, (iii) fast; taking constant time to update the graph sketches and the cluster summaries that can process over 100K edges per second, and (iv) online; scoring and flagging anomalies in real time. Experiments on datasets containing simulated system-call flow graphs from normal browser activity and various attack scenarios (ground truth) show that our proposed StreamSpot is high-performance; achieving above 95% detection accuracy with small delay, as well as competitive time and memory usage.

研究动机与目标

• 解决从连续的类型化边流中实时检测异构图异常的挑战。
• 设计一种方法，在处理高速图流的同时保持有界的内存使用。
• 实现在无需批处理或全局图快照的情况下，对异常进行在线、增量式检测。
• 支持主机级别 APT 检测等应用场景，其中低延迟和高准确率至关重要。
• 将方法推广至安全领域之外，适用于其他需要可扩展、实时聚类类型图流的领域。

提出的方法

• 提出一种新颖的基于 shingling 的相似性函数，通过比较局部子结构（表示为短字符串）的相对频率来比较图。
• 引入 StreamHash，一种 sketching 技术，将图表示压缩为固定大小的摘要，同时保留相似性以实现高效比较。
• 采用基于质心的聚类方案，随着新边的到达逐步更新，从而实现实时异常评分。
• 每条到达的边均以常数时间更新图 sketch 和聚类摘要，确保高吞吐量。
• 使用可合并的 sketch 摘要，支持在完全流式处理方式下实现高效聚类与异常检测。
• 以连续的边粒度方式逐条处理边，避免基于快照的处理方式。

实验结果

研究问题

• RQ1 在有界内存下，如何高效计算流式环境中异构图之间的相似性？
• RQ2 我们能否设计一种 sketching 方法，在消耗常数内存的同时保留图的相似性？
• RQ3 如何在新边持续到达时实现实时的聚类与异常检测？
• RQ4 在真实世界的流式环境下，该系统在准确率、延迟和内存使用方面的性能如何？
• RQ5 该方法能否推广至 APT 检测之外的其他流式图异常检测任务？

主要发现

• StreamSpot 在具有真实攻击场景的模拟系统调用流图上实现了超过 95% 的检测准确率。
• 该系统每秒处理超过 100,000 条边，展现出高吞吐量和低延迟。
• 内存使用保持有界且恒定，sketch 和聚类摘要所占空间固定，与流长度无关。
• 即使在严格的内存限制下，该方法仍能维持高准确率和高速度。
• sketching 技术实现了保留相似性的压缩，使实时聚类成为可能。
• 该方法在检测具有时间顺序、异构节点/边类型的演化型图中的异常方面表现有效。