[论文解读] DwarvesGraph: A High-Performance Graph Mining System with Pattern Decomposition

Jingji Chen, Xuehai Qian|arXiv (Cornell University)|Aug 21, 2020

Graph Theory and Algorithms参考文献 51被引用 9

一句话总结

DwarvesGraph 是一个高性能图挖掘系统，通过将模式分解与新型编译管道及部分嵌入API相结合，实现在大规模图上执行时间低于一小时，将GPM工作负载的执行时间从数天缩短至数小时，且用户投入极少。它通过精确的成本模型自动选择最优分解方式，并在无需完全材料化嵌入的情况下实现高效UDF执行。

ABSTRACT

Graph pattern mining (GPM) is an important application that identifies structures from graphs. Despite the recent progress, the performance gap between the state-of-the-art GPM systems and an efficient algorithm--pattern decomposition--is still at least an order of magnitude. This paper clears the fundamental obstacles of adopting pattern decomposition to a GPM system. First, the performance of pattern decomposition algorithms depends on how to decompose the whole pattern into subpatterns. The original method performs complexity analysis of algorithms for different choices, and selects the one with the lowest complexity upper bound. Clearly, this approach is not feasible for average or even expert users. To solve this problem, we develop a GPM compiler with conventional and GPM-specific optimizations to generate algorithms for different decomposition choices, which are evaluated based on an accurate cost model. The executable of the GPM task is obtained from the algorithm with the best performance. Second, we propose a novel partial-embedding API that is sufficient to construct advanced GPM applications while preserving pattern decomposition algorithm advantages. Compared to state-of-the-art systems, our new GPM system, DwarvesGraph, developed based on the ideas, reduces the execution time of GPM on large graphs and patterns from days to a few hours with low programming effort.

研究动机与目标

• 为弥合最先进的GPM系统与高效模式分解算法之间的性能差距，后者因实现障碍而长期未被充分利用。
• 解决传统基于UDF的API与模式分解之间的不兼容性，后者需要完全材料化嵌入，从而破坏性能提升。
• 自动化选择最优顶点切割集合以实现模式分解，避免手动复杂度分析，实现可扩展性能。
• 设计一个能准确预测不同分解选择下性能表现的成本模型，确保系统选择最快算法变体。
• 在保持模式分解效率的同时，实现低编程投入的高级GPM应用部署。

提出的方法

• 该系统采用专用于GPM的编译器，为多种分解选择生成优化算法，结合常规优化与图模式挖掘专用优化。
• 引入部分嵌入API，使UDF仅能访问嵌入所需部分，避免完全材料化，从而保持分解效率。
• 通过精确的成本模型评估候选分解策略（由顶点切割集合定义），选择最快算法实现。
• 系统支持多线程执行，具有接近线性的可扩展性，可高效处理大规模图。
• 编译阶段效率极高，其开销比执行时间小几个数量级，即使在复杂模式下亦如此。
• 通过在部分材料化嵌入上解析约束，框架支持标签约束和复杂查询语义。

实验结果

研究问题

• RQ1 能否在不牺牲可用性或表达能力的前提下，将模式分解有效集成到通用GPM系统中？
• RQ2 如何在多种图模式和结构下自动化实现模式分解的性能优化？
• RQ3 何种成本模型在实际中足够准确且高效，可指导最优分解策略的选择？
• RQ4 部分嵌入API在避免完全嵌入材料化的同时，能在多大程度上保持正确性和表达能力？
• RQ5 与现有GPM系统相比，该系统在图规模和模式复杂度增加时的可扩展性如何？

主要发现

• 在WikiVote图上挖掘所有大小为5的模式时，DwarvesGraph将执行时间从Peregrine系统的超过一周缩短至五小时以内。
• 在Patents图的5-Motif模式上，DwarvesGraph在16个线程下实现了15.11倍的加速，表现出接近线性的可扩展性。
• 在MiCo图上进行频繁子图挖掘（支持阈值为10K）时，DwarvesGraph相较AutomineInHouse实现了最高70倍的峰值加速。
• 在复杂标签约束下，DwarvesGraph在大规模图上相较Peregrine最高提升12倍，执行时间从超过12小时降至5分钟以内。
• 编译开销可忽略不计——即使在112个大小为6的模式下也低于300ms，使其适用于交互式工作负载。
• 不准确的成本模型可能导致性能劣于非分解系统，证实了精确成本估算在分解选择中的关键作用。