[论文解读] Hop Doubling Label Indexing for Point-to-Point Distance Querying on Scale-Free Networks

Minhao Jiang, Ada Wai-Chee Fu+2 more|arXiv (Cornell University)|Mar 4, 2014

Data Management and Algorithms参考文献 27被引用 4

一句话总结

本文提出了一种基于磁盘的 Hop Doubling Label（HopDb）索引方法，用于在大规模无标度图中高效查询点对点距离。通过利用跳数加倍和剪枝策略，该方法实现了极小的标签大小（每个顶点少于200个条目），并可扩展至包含数亿个节点的图，在索引和查询时间上优于以往的内存方法。

ABSTRACT

We study the problem of point-to-point distance querying for massive scale-free graphs, which is important for numerous applications. Given a directed or undirected graph, we propose to build an index for answering such queries based on a hop-doubling labeling technique. We derive bounds on the index size, the computation costs and I/O costs based on the properties of unweighted scale-free graphs. We show that our method is much more efficient compared to the state-of-the-art technique, in terms of both querying time and indexing time. Our empirical study shows that our method can handle graphs that are orders of magnitude larger than existing methods.

研究动机与目标

• 解决现有基于内存的2跳标签方法在大规模无标度图中的可扩展性限制。
• 在保持快速查询性能的同时，减少索引构建时间和存储空间。
• 通过基于磁盘的迭代标签方法，实现远超主内存容量的图的索引构建。
• 利用无标度网络的特性，保证小标签大小以及有界的I/O和计算开销。
• 开发一种方法，支持在最多包含数亿个顶点的图上实现高效的点对点距离查询。

提出的方法

• 使用一种新颖的迭代跳数加倍标签过程，每一步将候选标签的跳数加倍。
• 引入一种混合策略：在早期迭代中使用跳数步进（有限增长）以控制标签扩展，随后切换到跳数加倍以实现加速。
• 在每次迭代中应用剪枝，移除冗余或无前景的标签条目，将候选集大小减少高达90%。
• 利用无权无标度图的小枢纽维度和小直径特性，以限制标签大小和迭代次数。
• 采用自底向上的层次分解方式构建索引，最大限度减少标签增长，同时保持最短路径语义。
• 通过剪枝和受控增长控制中间数据大小，最小化随机访问，确保基于磁盘的I/O效率。

实验结果

研究问题

• RQ1 基于磁盘的索引方法是否能在大规模无标度图中同时实现小标签大小和低索引时间？
• RQ2 跳数加倍与跳数步进结合剪枝的策略，对标签大小和收敛速度有何影响？
• RQ3 无标度图的结构性质（小直径、小枢纽维度）在多大程度上支持可扩展索引？
• RQ4 所提出的方法是否能处理远超现有基于内存标签技术支持范围的图？
• RQ5 在不同类型的无标度网络拓扑中，标签大小、索引时间和查询性能之间的权衡如何？

主要发现

• 在所有测试图中，平均标签大小保持在每个顶点少于200个条目，即使在包含数亿个节点的图中也是如此。
• 该方法仅使用4GB主内存即成功索引了一个9GB的图，证明其在主内存限制之外具有强大的可扩展性。
• 对于大型图如wiki-English，剪枝策略在后期迭代中将候选集减少了高达90%，显著提升了效率。
• 混合方法（先跳数步进后跳数加倍）相比纯跳数加倍或仅跳数步进，将索引时间减少了最多50%。
• 在wikiItaly图上，收敛所需的迭代次数从仅使用跳数步进的59次减少到混合方法的15次，表明收敛速度显著加快。
• 该方法在大型图上实现了亚秒级查询时间，且随着图大小线性增加，标签大小保持稳定。