[论文解读] DAGGER: A Scalable Index for Reachability Queries in Large Dynamic Graphs

Hilmi Yıldırım, Vineet Chaoji+1 more|arXiv (Cornell University)|Jan 6, 2013

Data Management and Algorithms参考文献 21被引用 22

一句话总结

DAGGER 是一种轻量级、可扩展的可达性索引，适用于大规模动态图，通过区间标记和强连通分量（SCC）压缩来实现高效的更新与查询。它通过在边删除后有针对性地增量维护可达性，实现线性索引大小和快速的更新/查询时间，在包含数百万个节点的真实图和合成图上优于基线方法。

ABSTRACT

With the ubiquity of large-scale graph data in a variety of application domains, querying them effectively is a challenge. In particular, reachability queries are becoming increasingly important, especially for containment, subsumption, and connectivity checks. Whereas many methods have been proposed for static graph reachability, many real-world graphs are constantly evolving, which calls for dynamic indexing. In this paper, we present a fully dynamic reachability index over dynamic graphs. Our method, called DAGGER, is a light-weight index based on interval labeling, that scales to million node graphs and beyond. Our extensive experimental evaluation on real-world and synthetic graphs confirms its effectiveness over baseline methods.

研究动机与目标

• 为在大规模、动态演化的图（如社交网络和RDF图）中高效支持可达性查询提供解决方案。
• 设计一种动态可达性索引，支持高效的更新（边插入和删除），而无需完全重新计算。
• 在扩展至包含数百万个节点的图时，保持低索引大小和快速的查询/更新时间。
• 克服静态索引方案在动态图变化下缺乏适应性的局限。
• 实现在在线系统中实际部署的可行性，支持低延迟查询，并在更新期间实现最小停机时间。

提出的方法

• DAGGER 在通过将强连通分量（SCCs）压缩为单个节点形成的压缩有向无环图（DAG）上，使用区间标记构建可达性索引。
• 通过在每次图修改后增量更新 SCC 来维护可达性，避免完全重新计算。
• 对于边删除操作，使用一种从源节点开始的定向遍历算法，检测分量分裂，排除仍能到达目标的节点。
• 该算法仅递归探索可能形成新分量的节点，使用队列从叶节点向上传播潜在的新分量。
• 它对 Tarjan 算法进行改进：限制遍历范围在当前 SCC 内部，若已到达目标则提前终止，避免处理可到达目标的节点的祖先。
• 仅在必要时创建新的 SCC，且增量更新 DAG 以反映可达性关系的变化。

实验结果

研究问题

• RQ1 能否设计一种可扩展至包含数百万个节点的大规模图的动态可达性索引，并支持高效的更新？
• RQ2 如何在边删除后优化 SCC 重新计算，以避免遍历整个分量？
• RQ3 与完整重新计算或基线方法相比，可达性增量维护在动态图工作负载中能提升多少性能？
• RQ4 与静态索引或朴素 DFS 相比，维护动态图中可达性的性能开销有多大？
• RQ5 在 SCC 分裂检测过程中，剪枝策略在降低遍历成本方面的有效性如何？

主要发现

• DAGGER 实现了线性索引大小和构建时间，可有效扩展至超过一百万个节点的图。
• 增量更新机制通过避免对大型 SCC 进行完整遍历，显著降低了边删除的代价，尤其在仅影响分量小部分区域时效果更明显。
• 查询性能高效，可达性判断时间与索引大小成正比，利用区间标记实现快速路径存在性检查。
• 在真实图和合成图上，DAGGER 在更新和查询效率方面显著优于基线方法，包括朴素 DFS 和静态索引方案。
• 在分量提取过程中采用的剪枝策略通过跳过仍能到达目标的节点，减少了遍历开销，从而加快了边删除后新分量的检测速度。
• 实验评估证实，DAGGER 在大规模图（如社交网络和RDF数据）上具有显著有效性，即使在频繁更新下也能保持低延迟。