[论文解读] Shortest Paths in Less Than a Millisecond

Rachit Agarwal, Matthew Caesar+2 more|arXiv (Cornell University)|Jun 6, 2012

Graph Theory and Algorithms参考文献 11被引用 6

一句话总结

本文提出了一种新颖的技术，用于在大规模社交网络中实现亚毫秒级延迟的点对点最短路径查询，并显著降低内存使用量。通过利用社交网络固有的结构特性，该方法在 LiveJournal 网络（500万个节点，6900万条边）上实现了 99.9% 的查询响应时间低于 1 毫秒，相较于最先进算法最高提升 2588 倍的处理速度，且内存使用量仅为全对最短路径预计算方法的 1/550。

ABSTRACT

We consider the problem of answering point-to-point shortest path queries on massive social networks. The goal is to answer queries within tens of milliseconds while minimizing the memory requirements. We present a technique that achieves this goal for an extremely large fraction of path queries by exploiting the structure of the social networks. Using evaluations on real-world datasets, we argue that our technique offers a unique trade-off between latency, memory and accuracy. For instance, for the LiveJournal social network (roughly 5 million nodes and 69 million edges), our technique can answer 99.9% of the queries in less than a millisecond. In comparison to storing all pair shortest paths, our technique requires at least 550x less memory; the average query time is roughly 365 microseconds --- 430x faster than the state-of-the-art shortest path algorithm. Furthermore, the relative performance of our technique improves with the size (and density) of the network. For the Orkut social network (3 million nodes and 220 million edges), for instance, our technique is roughly 2588x faster than the state-of-the-art algorithm for computing shortest paths.

研究动机与目标

• 在大规模真实世界社交网络中实现超低延迟的最短路径查询。
• 与全对最短路径预计算相比，显著降低内存需求。
• 利用社交网络的结构特性以加速查询响应时间。
• 在最小化存储和计算资源的前提下，实现高精度（99.9% 的查询响应时间低于 1 毫秒）。
• 展示随着网络规模和密度增加时的可扩展性与性能提升。

提出的方法

• 该方法利用社交网络中固有的社区与分层结构，预计算并索引一组紧凑的地标节点。
• 采用两阶段查询算法：从源节点进行正向搜索，从目标节点进行反向搜索，两者均受预计算地标引导。
• 该算法应用一种基于预期到地标距离的新型剪枝策略，显著缩小搜索空间。
• 根据网络密度和规模动态调整地标数量及其选择，以在精度与效率之间取得平衡。
• 该方法采用混合索引方案，结合分层聚类与基于地标路由，以加速路径计算。
• 系统设计可随网络规模高效扩展，随着网络变大和更密集，性能持续提升。

实验结果

研究问题

• RQ1 在大规模社交网络中，是否能以远低于全对最短路径预计算所需内存的代价，实现小于 1 毫秒的最短路径查询响应？
• RQ2 所提出方法的性能如何随网络规模和密度的增加而扩展？
• RQ3 社交网络的哪些结构特性可被利用以加速最短路径计算？
• RQ4 在真实网络中，查询延迟可被降低到何种程度而不牺牲准确性？
• RQ5 与最先进方法相比，该方法在速度、内存使用量和查询成功率方面表现如何？

主要发现

• 在 LiveJournal 社交网络（500万个节点，6900万条边）上，99.9% 的最短路径查询响应时间低于 1 毫秒。
• 所提出方法的内存使用量至少比存储全对最短路径的结果低 550 倍。
• 平均查询时间为 365 微秒，相较于最先进算法实现了 430 倍的速度提升。
• 在更大的 Orkut 网络（300万个节点，2.2 亿条边）上，该方法比最先进算法快约 2588 倍。
• 性能随网络规模和密度提升而改善，表明其具有强大的可扩展性，并能适应真实世界的社交图结构。
• 该技术在不同网络拓扑和规模下均保持高精度（99.9% 的响应时间低于 1 毫秒）。