[論文レビュー] A Highly Scalable Labelling Approach for Exact Distance Queries in Complex Networks

Muhammad Farhan, Qing Wang+2 more|arXiv (Cornell University)|Dec 6, 2018

Graph Theory and Algorithms参考文献 32被引用数 4

ひとこと要約

本論文は、数十億規模の複雑ネットワークにおける正確な距離クエリのための、非常にスケーラブルなラベリング手法を提示する。新規のハイウェイカバー距離ラベリングアルゴリズムとスパarsifiedグラフ上の距離制限付き探索を組み合わせることで、80億エッジのネットワークにおいて1ms未満でクエリを処理し、ラベリング構築を最大70倍高速化し、メモリ使用量を90％削減する。これにより、前例のない規模で実用的な正確な距離計算が可能になる。

ABSTRACT

Answering exact shortest path distance queries is a fundamental task in graph theory. Despite a tremendous amount of research on the subject, there is still no satisfactory solution that can scale to billion-scale complex networks. Labelling-based methods are well-known for rendering fast response time to distance queries; however, existing works can only construct labelling on moderately large networks (million-scale) and cannot scale to large networks (billion-scale) due to their prohibitively large space requirements and very long preprocessing time. In this work, we present novel techniques to efficiently construct distance labelling and process exact shortest path distance queries for complex networks with billions of vertices and billions of edges. Our method is based on two ingredients: (i) a scalable labelling algorithm for constructing minimal distance labelling, and (ii) a querying framework that supports fast distance-bounded search on a sparsified graph. Thus, we first develop a novel labelling algorithm that can scale to graphs at the billion-scale. Then, we formalize a querying framework for exact distance queries, which combines our proposed highway cover distance labelling with distance-bounded searches to enable fast distance computation. To speed up the labelling construction process, we further propose a parallel labelling method that can construct labelling simultaneously for multiple landmarks. We evaluated the performance of the proposed methods on 12 real-world networks. The experiments show that the proposed methods can not only handle networks with billions of vertices, but also be up to 70 times faster in constructing labelling and save up to 90\% of labelling space. In particular, our method can answer distance queries on a billion-scale network of around 8B edges in less than 1ms, on average.

研究の動機と目的

• 数十億規模の複雑ネットワークにおける正確な最短経路距離クエリのためのスケーラブルな解決策の欠如に応える。
• 大規模グラフにおいて、既存のラベリング手法が直面する2次関数的メモリ使用量と、実行不可能な長時間の事前処理時間を克服する。
• ランドマーク数に線形に比例するスケーラブルなラベリングアルゴリズムを設計し、ラベルサイズを最小限に抑える。
• 数十億の頂点とエッジを含むネットワークでも、高速かつ定数時間（1ms未満）の応答が可能なクエリ処理を実現する。
• 複数のランドマークにわたるラベリング構築を並列化できるフレームワークを設計する。

提案手法

• 正確な距離クエリのための最小で順序に依存しないラベルを構築する、新規のハイウェイカバー距離ラベリング（HWC）アルゴリズムを提案する。
• スパース化されたグラフ上で動作する距離制限付き探索フレームワークを導入し、クエリ処理を高速化する。
• 効率的な2ホップラベリング構築を保証するため、スパニングツリーをハイウェイとして用いる。
• 複数のランドマークを同時に処理する並列BFSベースのラベリング手法を開発し、事前処理時間を顕著に短縮する。
• HWCラベリングと制限付き探索を統合したクエリメカニズムを形式化し、正確な距離を迅速に計算する。
• 精度を損なわずにクエリ中の探索空間を削減するために、グラフスパース化を適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベリングベースの手法は、最小限のラベルサイズと高速なクエリ応答を維持しながら、数十億規模のネットワークにスケーリング可能か？
• RQ2 大規模グラフにおいて、ラベルの最小性を損なわず、距離ラベリングの構築時間を短縮する方法は何か？
• RQ3 ランドマークの順序付けと選定が、大規模ネットワークにおけるラベルサイズとクエリパフォーマンスに与える影響は何か？
• RQ4 複数のランドマークにわたるBFS計算の並列化は、ラベリング構築を顕著に高速化できるか？
• RQ5 グラフスパース化と制限付き探索技術は、大規模ネットワークにおけるクエリ効率をどの程度向上できるか？

主な発見

• 提案手法は、数十億規模のネットワークにおいて、最先端の手法と比較してラベル構築を最大70倍高速化する。
• 既存のアプローチと比較して、ラベリングのメモリ使用量を最大90％削減し、メモリ制限のあるシステムへの展開を可能にする。
• 80億エッジのネットワークにおいて、距離クエリの平均応答時間が1ms未満に達し、ミリ秒未満の応答時間を達成する。
• ラベリングアルゴリズムは、ランドマークの順序に依存しないHWC最小ラベルを生成し、最適なラベルサイズを保証する。
• 並列ラベリングフレームワークにより、ランドマーク数に比例する線形時間の構築が可能となり、数十億規模のグラフに対しても実用的である。
• 本手法は、FD（Hayashi et al., 2016）やPLL（Akiba et al., 2013）といった先行研究を、大規模ネットワークにおける構築時間とメモリ効率の両面で上回る。