[论文解读] A Highly Scalable Labelling Approach for Exact Distance Queries in Complex Networks

Muhammad Farhan, Qing Wang+2 more|arXiv (Cornell University)|Dec 6, 2018

Graph Theory and Algorithms参考文献 32被引用 4

一句话总结

本文提出了一种在百亿规模复杂网络中实现精确距离查询的高可扩展性标注方法，结合了新颖的高速公路覆盖距离标注算法与稀疏化图上的距离有界搜索。该方法在80亿条边的网络上实现查询响应时间低于1毫秒的同时，将标注构建速度提升至70倍，空间占用减少90%，实现了前所未有的大规模精确距离计算。

ABSTRACT

Answering exact shortest path distance queries is a fundamental task in graph theory. Despite a tremendous amount of research on the subject, there is still no satisfactory solution that can scale to billion-scale complex networks. Labelling-based methods are well-known for rendering fast response time to distance queries; however, existing works can only construct labelling on moderately large networks (million-scale) and cannot scale to large networks (billion-scale) due to their prohibitively large space requirements and very long preprocessing time. In this work, we present novel techniques to efficiently construct distance labelling and process exact shortest path distance queries for complex networks with billions of vertices and billions of edges. Our method is based on two ingredients: (i) a scalable labelling algorithm for constructing minimal distance labelling, and (ii) a querying framework that supports fast distance-bounded search on a sparsified graph. Thus, we first develop a novel labelling algorithm that can scale to graphs at the billion-scale. Then, we formalize a querying framework for exact distance queries, which combines our proposed highway cover distance labelling with distance-bounded searches to enable fast distance computation. To speed up the labelling construction process, we further propose a parallel labelling method that can construct labelling simultaneously for multiple landmarks. We evaluated the performance of the proposed methods on 12 real-world networks. The experiments show that the proposed methods can not only handle networks with billions of vertices, but also be up to 70 times faster in constructing labelling and save up to 90\% of labelling space. In particular, our method can answer distance queries on a billion-scale network of around 8B edges in less than 1ms, on average.

研究动机与目标

• 解决百亿规模复杂网络中精确最短路径距离查询缺乏可扩展解决方案的问题。
• 克服现有标注方法在大规模图上导致的二次方空间占用和难以接受的预处理时间。
• 开发一种与地标数量呈线性关系的标注算法，同时最小化标签大小。
• 即使在包含数十亿个顶点和边的网络上，也能实现快速、恒定时间的查询响应（低于1毫秒）。
• 设计一种可并行化的框架，以加速多个地标上的标注构建。

提出的方法

• 提出一种新颖的高速公路覆盖距离标注（HWC）算法，为精确距离查询构建最小化且与顺序无关的标签。
• 引入一种基于距离有界搜索的框架，该框架在稀疏化图上运行，以加速查询处理。
• 使用生成树作为高速公路，引导高效2-hop标注构建，同时保持距离计算的准确性。
• 开发一种基于BFS的并行标注方法，可同时处理多个地标，显著缩短预处理时间。
• 形式化一种查询机制，将HWC标注与有界搜索相结合，以快速计算精确距离。
• 应用图稀疏化技术，在不损失准确性的前提下减少查询过程中的搜索空间。

实验结果

研究问题

• RQ1 基于标注的方法能否在保持最小标签大小和快速查询时间的前提下，扩展至百亿规模网络？
• RQ2 如何在不牺牲标签最小性的情况下，显著缩短大规模图上距离标注的构建时间？
• RQ3 地标排序与选择对大规模网络中标签大小和查询性能有何影响？
• RQ4 在多个地标上并行化BFS计算能否显著加速标注构建？
• RQ5 图稀疏化与有界搜索技术在多大程度上能提升大规模网络中的查询效率？

主要发现

• 所提方法在百亿规模网络上的标签构建速度比当前最先进方法快达70倍。
• 与现有方法相比，标签空间占用减少高达90%，使系统可在内存受限环境中部署。
• 在80亿条边的网络上，距离查询的平均响应时间低于1毫秒，实现了亚毫秒级响应。
• 标注算法生成的HWC最小标签与地标顺序无关，确保了最优标签大小。
• 并行标注框架实现了与地标数量成线性关系的可扩展、线性时间构建，使百亿规模图的处理成为可能。
• 在大规模网络上，该方法在构建时间和空间效率方面均优于先前工作，如FD（Hayashi等，2016）和PLL（Akiba等，2013）