[论文解读] Fast Exact Shortest-Path Distance Queries on Large Networks by Pruned Landmark Labeling

Takuya Akiba, Yoichi Iwata+1 more|arXiv (Cornell University)|Apr 17, 2013

Data Management and Algorithms参考文献 38被引用 32

一句话总结

该论文提出了一种新颖的精确最短路径距离查询方法，适用于大规模网络，采用剪枝地标标记与位并行BFS。通过在每个顶点的BFS过程中剪除距离过远的顶点，并利用位运算同时处理多个BFS遍历，该方法实现了快速预处理、小索引尺寸以及亚微秒级查询时间——可扩展至边数达数亿的图，较之前精确方法大两个数量级。

ABSTRACT

We propose a new exact method for shortest-path distance queries on large-scale networks. Our method precomputes distance labels for vertices by performing a breadth-first search from every vertex. Seemingly too obvious and too inefficient at first glance, the key ingredient introduced here is pruning during breadth-first searches. While we can still answer the correct distance for any pair of vertices from the labels, it surprisingly reduces the search space and sizes of labels. Moreover, we show that we can perform 32 or 64 breadth-first searches simultaneously exploiting bitwise operations. We experimentally demonstrate that the combination of these two techniques is efficient and robust on various kinds of large-scale real-world networks. In particular, our method can handle social networks and web graphs with hundreds of millions of edges, which are two orders of magnitude larger than the limits of previous exact methods, with comparable query time to those of previous methods.

研究动机与目标

• 解决在社交网络和网页图等复杂大规模网络中精确最短路径距离查询的可扩展性差距。
• 克服先前精确方法在处理数百万条边的图时需要数千秒索引时间的局限性。
• 实现在以往精确方法无法处理的超大规模网络上，实现高效、低延迟的距离查询（微秒级响应时间）。
• 开发一种既快速又内存高效的预处理方法，适用于真实世界的大规模网络。
• 在多种网络类型（包括社交网络和网页图）中实现稳健性能，且对参数选择不敏感。

提出的方法

• 该方法对图中每个顶点执行广度优先搜索（BFS），以预计算距离标签。
• 引入BFS过程中的剪枝策略：一旦发现某顶点距离源点过远，则跳过从该顶点的进一步探索，从而减小标签大小和搜索空间。
• 剪枝策略利用了远距离顶点对通常能被早期覆盖的事实，从而允许对这些顶点提前终止BFS。
• 该方法使用位并行BFS，通过位运算同时处理最多32或64次BFS遍历，显著加速预处理过程。
• 将剪枝标记与位并行BFS结合，进一步减小索引大小，并提升预处理与查询性能。
• 采用顶点排序策略（度中心性和接近中心性），优先处理中心顶点，以提升标签压缩效果与整体性能。

实验结果

研究问题

• RQ1 通过在遍历过程中引入剪枝，能否使简单的基于BFS的标记方法在大规模真实网络中实现可扩展性？
• RQ2 位并行BFS在不牺牲标签准确性或增加索引大小的前提下，能否显著加速预处理？
• RQ3 基于度或接近中心性的顶点排序策略是否能显著提升标签压缩效果与性能？
• RQ4 剪枝策略在保持精确距离计算的前提下，能在多大程度上减少标签大小与预处理时间？
• RQ5 剪枝与位并行性的结合使用，能否在边数达数亿的图上实现亚微秒级查询时间？

主要发现

• 剪枝地标标记方法显著减少了标签大小与搜索空间，使得即使在边数达数亿的图上也能实现快速预处理。
• 使用位并行BFS使预处理速度提升2至10倍，同时减小了索引大小与普通标签大小。
• 该方法实现了约十微秒的平均查询时间，与以往近似方法相当，但结果为精确值。
• 使用度与接近中心性排序策略后，大型网络（如Epinions与Slashdot）的平均标签大小降至100以下，而随机排序时则超过7,000。
• 性能对位并行BFS数量的敏感度较低，最优性能出现在中等数量的并行遍历下，极端值下无显著性能下降。
• 该方法可扩展至边数达1亿的网络——较之前精确方法大两个数量级——同时保持小索引大小与快速查询时间。