[论文解读] Compact Neighborhood Index for Subgraph Queries in Massive Graphs

Chemseddine Nabti, T. Mecharnia+3 more|arXiv (Cornell University)|Mar 16, 2017

Graph Theory and Algorithms参考文献 25被引用 3

一句话总结

该论文提出CNI-Match，一种新颖的子图同构算法，利用紧凑邻域索引（CNI）将顶点邻域编码为整数，从而实现高效、与主内存无关的搜索空间剪枝。该方法减少了中间结果，相较于最先进的CFL-Match方法，在真实世界图上实现了最高17倍的加速和最高2,343倍的内存效率提升。

ABSTRACT

Subgraph queries also known as subgraph isomorphism search is a fundamental problem in querying graph-like structured data. It consists to enumerate the subgraphs of a data graph that match a query graph. This problem arises in many real-world applications related to query processing or pattern recognition such as computer vision, social network analysis, bioinformatic and big data analytic. Subgraph isomorphism search knows a lot of investigations and solutions mainly because of its importance and use but also because of its NP-completeness. Existing solutions use filtering mechanisms and optimise the order within witch the query vertices are matched on the data vertices to obtain acceptable processing times. However, existing approaches are iterative and generate several intermediate results. They also require that the data graph is loaded in main memory and consequently are not adapted to large graphs that do not fit into memory or are accessed by streams. To tackle this problem, we propose a new approach based on concepts widely different from existing works. Our approach distills the semantic and topological information that surround a vertex into a simple integer. This simple vertex encoding that can be computed and updated incrementally reduces considerably intermediate results and avoid to load the entire data graph into main memory. We evaluate our approach on several real-word datasets. The experimental results show that our approach is efficient and scalable.

研究动机与目标

• 解决现有子图同构算法可扩展性受限的问题，这些算法需要将整个数据图加载到主内存中。
• 降低基于邻域的过滤在子图匹配中的高计算和内存开销，尤其适用于大规模或流式图。
• 开发一种轻量级、增量式的顶点编码方法，捕捉拓扑和语义邻域信息，而无需存储完整的邻域结构。
• 通过紧凑且可更新的索引，在匹配过程早期实现高效的搜索空间剪枝。
• 在稀疏图和稠密图上均实现高性能，同时最小化中间结果的爆炸性增长。

提出的方法

• 提出紧凑邻域索引（CNI），通过结合标签频率和结构特征，将每个顶点的1跳邻域映射为单个整数。
• 利用CNI执行全局过滤：若数据图中某顶点的CNI不匹配查询顶点所需的邻域特征签名，则将其剪枝。
• 设计CNI的增量更新机制，支持在图处理或流式处理过程中高效维护。
• 将CNI集成到递归回溯的子图同构算法中，在顶点匹配开始前即应用剪枝。
• 使用复合函数 $ cni_d(u) = g_2(\text{label}(u), cni(u)) $ 将顶点标签扩展到CNI中，实现更丰富的语义过滤。
• 构建图级别的CNI，定义为 $ cni(G) = g_{|V(G)|}(cni_d(v_1), cni_d(v_2), ..., cni_d(v_{|V(G)|})) $，以支持图数据库索引应用。

实验结果

研究问题

• RQ1 是否可以通过紧凑的、基于整数的顶点邻域表示，显著减少子图同构中的搜索空间，而无需存储完整的邻域结构？
• RQ2 与NLF和MND等现有方法相比，基于CNI的过滤在剪枝能力与计算开销方面表现如何？
• RQ3 CNI方法在无法装入主内存的超大规模图上可扩展到何种程度？
• RQ4 与CFL-Match中的传统索引结构CPI相比，维护CNI的内存和时间开销如何？
• RQ5 CNI能否扩展以支持图数据库索引，并支持图集合上的高效相似性搜索或查询处理？

主要发现

• 在YEAST数据集上，CNI-Match对稀疏查询的平均加速比达到CFL-Match的12倍；在HPRD数据集上达到17倍。
• 在稠密的HUMAN数据集上，当CFL-Match在12小时内完成时，CNI-Match的速度比其快4倍。
• 在HPRD数据集上，CFL-Match的内存使用量最高达CNI-Match的2,343倍；对于小规模查询，最高达6,000倍。
• 对于稀疏查询，CNI-Match的内存使用量仅为CFL-Match的一小部分，YEAST和HPRD上的减少比例分别为675倍和2,343倍。
• CNI-Match的内存使用量随查询规模增长，但保持可控，因为它仅存储通过CNI过滤的顶点的边。
• CNI-Match在12小时时限内成功处理了所有查询集，而CFL-Match在稠密查询中，尤其在较大查询规模下，超出了时间阈值。