[论文解读] A Selectivity based approach to Continuous Pattern Detection in Streaming Graphs

Sutanay Choudhury, Lawrence B. Holder+3 more|arXiv (Cornell University)|Jan 1, 2015

Graph Theory and Algorithms参考文献 11被引用 9

一句话总结

本文提出了一种基于选择性的懒惰搜索算法，用于在流式图中检测连续子图模式，利用2条边子图的分布统计信息来指导查询处理。通过引入‘相对选择性’，动态选择路径或单顶点为基础的搜索策略，该方法在真实网络流量和社会媒体数据流上相比选择性无关的方法实现了10–100倍的加速。

ABSTRACT

Cyber security is one of the most significant technical challenges in current times. Detecting adversarial activities, prevention of theft of intellectual properties and customer data is a high priority for corporations and government agencies around the world. Cyber defenders need to analyze massive-scale, high-resolution network flows to identify, categorize, and mitigate attacks involving networks spanning institutional and national boundaries. Many of the cyber attacks can be described as subgraph patterns, with prominent examples being insider infiltrations (path queries), denial of service (parallel paths) and malicious spreads (tree queries). This motivates us to explore subgraph matching on streaming graphs in a continuous setting. The novelty of our work lies in using the subgraph distributional statistics collected from the streaming graph to determine the query processing strategy. We introduce a "Lazy Search" algorithm where the search strategy is decided on a vertex-to-vertex basis depending on the likelihood of a match in the vertex neighborhood. We also propose a metric named "Relative Selectivity" that is used to select between different query processing strategies. Our experiments performed on real online news, network traffic stream and a synthetic social network benchmark demonstrate 10-100x speedups over selectivity agnostic approaches.

研究动机与目标

• 为解决在网络安全和社交媒体中常见的高吞吐量、动态流式图中实时子图模式检测的挑战。
• 通过利用子图分布的偏斜性，克服在演化图上进行周期性或暴力子图匹配的低效问题。
• 设计一种能根据模式匹配的可能性动态适应的查询处理策略，使用统计选择性度量。
• 通过聚焦于图中高概率区域的搜索，减少连续模式检测中的计算开销。
• 为分布式系统提供一个实用且可采用的框架，支持大规模流式图中的实时态势感知。

提出的方法

• 该方法提出了一种‘懒惰搜索’算法，基于邻域中匹配可能性的判断，逐顶点决定搜索策略。
• 使用‘相对选择性’作为度量标准，比较并选择不同的查询处理策略——具体为‘PathLazy’和‘SingleLazy’——基于子图分布统计信息。
• 该方法将查询分解为2条边的子图，并估算其在流式图中的频率，以指导搜索优先级。
• 通过维护一个SJ-Tree，增量式地存储和更新部分匹配结果，从而在图演化过程中减少冗余计算。
• 对子图同构和SJ-Tree操作进行性能分析，以识别性能瓶颈，其中同构操作占总处理时间的95%以上。
• 提出一种启发式方法：当相对选择性 < 0.001时选择‘PathLazy’，否则选择‘SingleLazy’，基于经验分布分析。

实验结果

研究问题

• RQ1 如何在实时流式图工作负载中实现高效且可扩展的子图模式检测？
• RQ2 2条边子图的分布如何在指导有效查询处理策略中发挥作用？
• RQ3 相对选择性能否作为可靠度量，用于在连续模式检测中动态选择最优搜索策略？
• RQ4 懒惰搜索在大规模流式图中的性能与传统非增量方法（如VF2）相比如何？
• RQ5 查询结构（例如路径与树）以及数据特征对基于选择性的优化效果有何影响？

主要发现

• ‘PathLazy’和‘SingleLazy’策略在真实世界的netflow和LSBench数据集上相比选择性无关方法（如VF2）实现了10–100倍的加速。
• 子图同构操作占总查询处理时间的95%以上，因此优化该阶段至关重要。
• 相对选择性值显示出两个明显聚类：一个高于0.001，另一个低几个数量级，从而支持基于数据的启发式策略选择。
• 在netflow数据集上，‘PathLazy’策略表现最佳，因其路径分布选择性较低，表明子图频率存在显著偏斜。
• 对于较大查询（直径4–5），性能提升最为显著，懒惰策略的处理时间增长远慢于非增量方法。
• 实证结果证实，将搜索限制在高选择性区域可显著减少冗余计算，并提升可扩展性。