[论文解读] O'Reach: Even Faster Reachability in Large Graphs

Kathrin Hanauer, Christian Schulz+1 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Database Systems and Queries被引用 1

一句话总结

O'Reach 是一种新颖的可达性算法，通过使用线性大小的索引，在大型有向图中实现常数时间查询，显著提升了现有方法的查询性能。通过利用支持顶点和缓存友好的数据结构，它在实践中甚至优于预计算的可达性矩阵，尤其在负向查询中表现更优，得益于更优的内存访问模式和更低的空间开销。

ABSTRACT

One of the most fundamental problems in computer science is the reachability problem: Given a directed graph and two vertices s and t, can s reach t via a path? We revisit existing techniques and combine them with new approaches to support a large portion of reachability queries in constant time using a linear-sized reachability index. Our new algorithm O'Reach can be easily combined with previously developed solutions for the problem or run standalone. In a detailed experimental study, we compare a variety of algorithms with respect to their index-building and query times as well as their memory footprint on a diverse set of instances. Our experiments indicate that the query performance often depends strongly not only on the type of graph, but also on the result, i.e., reachable or unreachable. Furthermore, we show that previous algorithms are significantly sped up when combined with our new approach in almost all scenarios. Surprisingly, due to cache effects, a higher investment in space doesn't necessarily pay off: Reachability queries can often be answered even faster than single memory accesses in a precomputed full reachability matrix.

研究动机与目标

• 解决传统可达性算法在大型静态有向图中面临的可扩展性限制。
• 在保持线性空间复杂度的同时，将查询时间减少到常数时间。
• 通过优化正向和负向可达性查询，超越现有的基于索引的方法。
• 证明更高的内存投入并不总是带来更快的查询性能，因为缓存效应可能起主导作用。
• 提供一种灵活且可组合的框架，增强现有算法，而无需完全重新实现。

提出的方法

• O'Reach 使用支持顶点——即有助于高效确定可达性的顶点——构建线性大小的可达性索引。
• 它采用混合方法，结合拓扑排序、强连通分量（SCC）分解和反向图分析，以预计算可达性捷径。
• 该算法使用缓存优化的数据结构，以最小化内存访问延迟，尤其有利于负向查询。
• 它支持独立使用，也支持与现有算法（如 PReaCH、PPL 和 TF）集成，通过轻量级增强提升其性能。
• 三个可配置参数允许在空间、预处理时间和查询速度之间进行权衡。
• 该方法利用了由于有利的缓存行为，不可达查询的响应速度可快于完整可达性矩阵中的一次内存访问这一事实。

实验结果

研究问题

• RQ1 是否可以在仅线性空间开销下，实现在大型图中的常数时间可达性查询？
• RQ2 可达性算法在正向和负向查询之间的性能表现有何差异？
• RQ3 通过集成 O'Reach 的技术，现有算法能在多大程度上被加速？
• RQ4 更高的内存使用是否总是带来更快的查询性能，还是缓存效应占据主导地位？
• RQ5 轻量级、可组合的索引是否能在多种图类型中实现亚微秒级的查询时间？

主要发现

• 当与 PPL 结合使用时，O’Reach 的平均查询时间低于 0.35 微秒，成为所有测试实例中最快的解决方案。
• 即使仅使用 1.5 GB 内存，O'Reach 在实践中也优于完整可达性矩阵，尤其在负向查询中得益于更优的缓存局部性。
• 将 O'Reach 与 PReaCH 结合使用，平均查询时间最多为 11.1 微秒，提供了初始化成本与性能之间的良好权衡。
• O'Reach 的索引大小仅取决于顶点数量，而不受边密度影响，因此在稀疏图中具有极高的空间效率。
• 出人意料的是，由于有效利用缓存，负向查询的响应速度往往快于完整矩阵中的一次内存访问。
• 算法的性能不仅取决于图的类型，还与可达查询与不可达查询的比例有关，而 O'Reach 在这两种情况下均表现出色。