[论文解读] Hub-Accelerator: Fast and Exact Shortest Path Computation in Large Social Networks

Ruoming Jin, Ning Ruan+2 more|arXiv (Cornell University)|May 2, 2013

Internet Traffic Analysis and Secure E-voting参考文献 42被引用 11

一句话总结

本文提出Hub-Accelerator，一种使用以枢纽为中心技术——Hub-Network与Hub 2-Labeling——的框架，以加速大规模社交网络中精确k-度最短路径计算。通过在距离保持型枢纽网络或核心枢纽标记中保留距离信息，该方法减少搜索空间，在索引成本低且预处理速度快的前提下，实现比BFS和最先进的近似方法Sketch快逾100倍的性能提升。

ABSTRACT

Shortest path computation is one of the most fundamental operations for managing and analyzing large social networks. Though existing techniques are quite effective for finding the shortest path on large but sparse road networks, social graphs have quite different characteristics: they are generally non-spatial, non-weighted, scale-free, and they exhibit small-world properties in addition to their massive size. In particular, the existence of hubs, those vertices with a large number of connections, explodes the search space, making the shortest path computation surprisingly challenging. In this paper, we introduce a set of novel techniques centered around hubs, collectively referred to as the Hub-Accelerator framework, to compute the k-degree shortest path (finding the shortest path between two vertices if their distance is within k). These techniques enable us to significantly reduce the search space by either greatly limiting the expansion scope of hubs (using the novel distance- preserving Hub-Network concept) or completely pruning away the hubs in the online search (using the Hub2-Labeling approach). The Hub-Accelerator approaches are more than two orders of magnitude faster than BFS and the state-of-the-art approximate shortest path method Sketch for the shortest path computation. The Hub- Network approach does not introduce additional index cost with light pre-computation cost; the index size and index construction cost of Hub2-Labeling are also moderate and better than or comparable to the approximation indexing Sketch method.

研究动机与目标

• 解决在大规模无标度小世界社交网络中，因枢纽导致搜索空间爆炸的精确最短路径计算挑战。
• 设计可扩展至数百万顶点和高直径特性的网络的高效精确k-度最短路径算法。
• 在保持索引大小和预处理成本实际可行的前提下，最小化在线查询时间。
• 探索基于枢纽的索引策略，包括限制枢纽扩展（Hub-Network）或预计算枢纽路径（Hub 2-Labeling），以实现更快的查询解析。
• 在多样化的现实世界社交网络上进行实证评估，并与BFS和Sketch（当前最先进的近似方法）进行对比。

提出的方法

• Hub-Network方法构建以选定枢纽为中心的距离保持子图，降低枢纽的有效度数，并在双向BFS中限制其扩展。
• Hub 2-Labeling预计算核心枢纽的标签，为每个顶点存储到一组小规模核心枢纽的最短路径距离，从而实现快速路径重建。
• 该框架采用两阶段策略：首先进行预处理以构建枢纽感知索引（Hub-Network或Hub 2-Labeling），随后在在线查询中使用带枢纽感知剪枝的双向BFS。
• 核心枢纽基于度数和中心性选择，目标是在保留最短路径信息的同时最小化枢纽数量。
• Hub-Network的构建涉及从每个枢纽运行BFS，并通过过滤边来保持最短路径距离，从而生成紧凑且以枢纽优化的子图。
• Hub 2-Labeling方法为每个顶点存储核心枢纽列表及其最短路径距离，使查询期间可实现O(1)查找。

实验结果

研究问题

• RQ1 以枢纽为中心的索引是否能显著减少在大规模社交网络中k-度最短路径查询的搜索空间？
• RQ2 Hub-Network与Hub 2-Labeling在查询速度和索引成本方面与BFS和Sketch相比表现如何？
• RQ3 在索引大小、预处理成本与查询性能之间取得平衡时，最优枢纽数量是多少？
• RQ4 Hub-Network中枢纽度数的降低在多大程度上提升了查询效率？
• RQ5 所提出的方法在具有不同拓扑结构和直径的多样化现实世界社交网络中如何实现可扩展性？

主要发现

• Hub-Accelerator在拥有数百万顶点的大规模社交网络中，相比标准BFS和最先进的近似方法Sketch，性能提升超过100倍。
• Hub-Network方法显著降低了平均查询时间，尤其当枢纽数量在10,000至15,000之间时，且预处理成本极低，无需额外的索引存储开销。
• Hub 2-Labeling实现了适中的索引大小和构建成本，在WikiTalk中平均每个顶点仅存储2.5个核心枢纽，从而实现快速在线查询。
• 在大多数网络中，每个顶点的核心枢纽数量占总枢纽数的2%以下，表明该标记方案具有高度压缩性和效率。
• Hub-Network的构建速度比Hub 2-Labeling快三倍以上，且两种方法的预处理时间均随枢纽数量增加呈线性增长。
• 在Orkut、LiveJournal和Twitter等网络中，随着枢纽数量增加，Hub-Network的大小显著增长，但平均枢纽度数降至原始值的三分之一以下，从而提升了查询性能。