[论文解读] DIMSpan - Transactional Frequent Subgraph Mining with Distributed In-Memory Dataflow Systems

André Petermann, Martin Junghanns+1 more|arXiv (Cornell University)|Mar 6, 2017

Data Mining Algorithms and Applications参考文献 29被引用 5

一句话总结

DIMSpan 是一个为 Apache Spark 和 Flink 构建的分布式、内存内频繁子图挖掘框架，通过利用先进的剪枝、压缩和优化技术，实现了对大规模有向多重图（如知识图谱或社交网络）的可扩展、高效频繁子图挖掘。它在运行时间和资源效率方面优于基于 MapReduce 的方法，展现出更高的可扩展性并减少了网络流量。

ABSTRACT

Transactional frequent subgraph mining identifies frequent subgraphs in a collection of graphs. This research problem has wide applicability and increasingly requires higher scalability over single machine solutions to address the needs of Big Data use cases. We introduce DIMSpan, an advanced approach to frequent subgraph mining that utilizes the features provided by distributed in-memory dataflow systems such as Apache Spark or Apache Flink. It determines the complete set of frequent subgraphs from arbitrary string-labeled directed multigraphs as they occur in social, business and knowledge networks. DIMSpan is optimized to runtime and minimal network traffic but memory-aware. An extensive performance evaluation on large graph collections shows the scalability of DIMSpan and the effectiveness of its pruning and optimization techniques.

研究动机与目标

• 解决单机频繁子图挖掘（FSM）在处理大规模复杂图集合这类大数据工作负载时的可扩展性限制。
• 支持在有向多重图中挖掘频繁子图——这类图常见于知识图谱、社交网络和业务流程日志中，其中边的方向性和多重性具有语义意义。
• 利用分布式内存数据流系统（如 Spark、Flink）最小化磁盘 I/O 和网络洗牌操作，从而在性能上优于传统的基于 MapReduce 的 FSM 方法。
• 通过内存感知数据结构、模式压缩和受 gSpan 启发的剪枝技术优化挖掘过程，同时保持正确性和完备性。
• 在真实和合成数据集上展示可扩展性和效率，证明其相对于现有方法的显著性能提升。

提出的方法

• 将 gSpan 算法的剪枝机制（如最小 DFS 编码和分支约束）适配到分布式内存数据流模型中，实现高效的搜索空间缩减。
• 使用模式嵌入映射（μ）来追踪子图出现次数，并采用 k 条边的模式频率（ϕ）变体来引导迭代式模式增长。
• 实施多级压缩：模式压缩（1,2）、嵌入压缩（3）和图压缩（4），以减少内存占用和网络传输开销。
• 引入后计数验证步骤以最小化误报，通过将完整验证推迟到后期阶段来减少昂贵的同构性检查。
• 在预处理阶段过滤不频繁的边标签并应用分支剪枝，从而在流水线早期减少候选模式数量。
• 利用 Flink 的内存内计算模型最小化磁盘 I/O，并通过优化的整数数组表示实现高效序列化，支持迭代处理。

实验结果

研究问题

• RQ1 分布式内存数据流系统是否能有效将频繁子图挖掘的可扩展性突破单机限制，适用于大规模复杂图集合？
• RQ2 与基于 MapReduce 的 FSM 框架相比，DIMSpan 集成 gSpan 风格剪枝和压缩技术在实际应用中的表现如何？
• RQ3 数据压缩和优化数据结构在分布式 FSM 中在多大程度上减少了网络流量和内存使用？
• RQ4 同构性验证的放置位置（过滤前或过滤后）对整体运行时间和正确性有何影响？
• RQ5 自适应分区和预处理对大规模图挖掘中负载均衡和性能的影响如何？

主要发现

• DIMSpan 在集群规模增加时实现亚线性但有意义的加速，表明在合成数据集和真实世界分子数据集上均具备强大的可扩展性。
• 对于合成数据集，运行时间几乎随输入规模线性增长；而对于分子数据集，在低支持度阈值（如 3% 与 5%）下，运行时间呈非线性增长，这是由于结果规模呈指数级增长所致。
• 模式压缩（1,2）是最有效的优化手段，通过加速计数和减少数据传输显著降低运行时间，尽管增加了部分压缩开销。
• 后计数验证减少了昂贵的同构性检查次数，提升了可扩展性，尤其在低支持度阈值下效果显著。
• 禁用分支剪枝在合成数据集上表现更优，因为减少了预处理开销；但在分子数据集上表现更优，因为其具有更少的不同最小 1 条边 DFS 编码。
• 基于不频繁边标签的预处理在标签多样性高的数据集中显著提升性能，显示出显著的数据集依赖性收益。