[论文解读] GraphZip: Dictionary-based Compression for Mining Graph Streams

Charles Packer, Lawrence B. Holder|arXiv (Cornell University)|Mar 24, 2017

Data Mining Algorithms and Applications参考文献 28被引用 3

一句话总结

GraphZip 提出了一种受 Lempel-Ziv 算法启发的基于字典的压缩方法，用于从图流中挖掘最大压缩性的子图模式。通过应用最小描述长度原理，它能够高效地在实时环境中识别出复杂且具有洞察力的模式，在大规模真实世界和合成图上的速度与可扩展性方面优于当前最先进的方法。

ABSTRACT

A massive amount of data generated today on platforms such as social networks, telecommunication networks, and the internet in general can be represented as graph streams. Activity in a network's underlying graph generates a sequence of edges in the form of a stream; for example, a social network may generate a graph stream based on the interactions (edges) between different users (nodes) over time. While many graph mining algorithms have already been developed for analyzing relatively small graphs, graphs that begin to approach the size of real-world networks stress the limitations of such methods due to their dynamic nature and the substantial number of nodes and connections involved. In this paper we present GraphZip, a scalable method for mining interesting patterns in graph streams. GraphZip is inspired by the Lempel-Ziv (LZ) class of compression algorithms, and uses a novel dictionary-based compression approach in conjunction with the minimum description length principle to discover maximally-compressing patterns in a graph stream. We experimentally show that GraphZip is able to retrieve complex and insightful patterns from large real-world graphs and artificially-generated graphs with ground truth patterns. Additionally, our results demonstrate that GraphZip is both highly efficient and highly effective compared to existing state-of-the-art methods for mining graph streams.

研究动机与目标

• 解决传统图挖掘算法在大规模、动态真实世界图（如社交网络和电信系统）上的可扩展性限制。
• 实现在边持续到达且无法存储在主内存中的图流中，进行高效、实时的分析。
• 通过将压缩作为模式重要性的代理，发现有趣且高度可压缩的子图模式。
• 开发一种可扩展、适用于流式处理的图挖掘框架，满足严格的时间与内存约束。
• 证明基于字典的压缩方法驱动的模式发现，能够有效从大规模图流中检索出复杂且有意义的子结构。

提出的方法

• GraphZip 采用受 Lempel-Ziv（LZ）算法家族启发的基于字典的压缩方法，将重复出现的子图模式替换为紧凑符号。
• 它应用最小描述长度（MDL）原理，识别能实现图流最大压缩的子图。
• 该算法以批处理方式处理图流，使用 VF2 子图同构算法，在每一批次中识别现有字典模式的所有子图同构（嵌入）。
• 对于每个嵌入，它在每个方向上扩展一个边，并在新扩展模式能提升压缩效果时，将其加入字典。
• 未被现有模式覆盖的剩余边，作为单边模式加入字典。
• 该方法动态构建一个模式字典，以捕获最具压缩性的子结构，这些子结构可作为图流中有趣模式的代理。

实验结果

研究问题

• RQ1 基于压缩的方法能否有效识别大规模、动态图流中具有意义且复杂的子图模式？
• RQ2 在速度与准确性方面，GraphZip 与当前最先进的流式及非流式图挖掘方法相比表现如何？
• RQ3 在内存受限且仅支持单遍处理的约束下，GraphZip 能在多大程度上实现实时处理图流？
• RQ4 使用最小描述长度原理是否能发现既高度可压缩又具有语义洞察力的模式？
• RQ5 诸如批处理大小和字典大小等参数选择，如何影响算法的时间复杂度与可扩展性？

主要发现

• GraphZip 在远超实际流速（0.93 条推文/秒）的速度下，成功从大规模真实世界图（包括 Twitter 图流）中检索出复杂且具有洞察力的模式。
• 在人工生成的、具有真实模式的图上实验中，GraphZip 达到了与当前最先进的方法相当的准确性，但速度显著更快。
• GraphZip 在不到 80 小时内处理完完整的 Twitter 图流，而流速仅为 0.93 条推文/秒，表明其具备实时处理可行性。
• 在多种真实世界数据集上，该算法在效率与有效性方面均优于当前最先进的流式及非流式方法。
• 理论复杂度分析表明，该算法的运行时间在理论上为 O(θ² × α!)，但实际中在参数固定时，由于每批处理的复杂度为常数，其运行时间与图大小呈线性关系。
• 主要计算开销来自子图同构检查，凸显未来工作需引入近似算法以进一步提升效率。