[論文レビュー] Shortest Paths in Less Than a Millisecond

Rachit Agarwal, Matthew Caesar+2 more|arXiv (Cornell University)|Jun 6, 2012

Graph Theory and Algorithms参考文献 11被引用数 6

ひとこと要約

本論文は、マス・ソーシャル・ネットワークにおいて、ミリ秒未塔の低遅延と、大幅に削減されたメモリ使用量を実現する、点対点の最短経路クエリを処理するための新規技術を提示する。ソーシャル・ネットワークに内在する構造的性質を活用することで、LiveJournal（500万ノード、6900万エッジ）において99.9％のクエリが1ミリ秒未塔で応答され、すべてのペアの最短経路を事前計算する手法と比較して最大2588倍の高速化を達成し、メモリ使用量は550倍も削減された。

ABSTRACT

We consider the problem of answering point-to-point shortest path queries on massive social networks. The goal is to answer queries within tens of milliseconds while minimizing the memory requirements. We present a technique that achieves this goal for an extremely large fraction of path queries by exploiting the structure of the social networks. Using evaluations on real-world datasets, we argue that our technique offers a unique trade-off between latency, memory and accuracy. For instance, for the LiveJournal social network (roughly 5 million nodes and 69 million edges), our technique can answer 99.9% of the queries in less than a millisecond. In comparison to storing all pair shortest paths, our technique requires at least 550x less memory; the average query time is roughly 365 microseconds --- 430x faster than the state-of-the-art shortest path algorithm. Furthermore, the relative performance of our technique improves with the size (and density) of the network. For the Orkut social network (3 million nodes and 220 million edges), for instance, our technique is roughly 2588x faster than the state-of-the-art algorithm for computing shortest paths.

研究の動機と目的

• マスな実世界のソーシャル・ネットワークにおいて、超低遅延の最短経路クエリを可能にすること。
• すべてのペアの最短経路を事前計算する手法と比較して、メモリ使用量を大幅に削減すること。
• ソーシャル・ネットワークの構造的性質を活用して、クエリ応答時間を高速化すること。
• ストレージと計算量を最小限に抑えながら、高い正確性（99.9％のクエリが1ミリ秒未塔）を達成すること。
• ネットワークサイズと密度の増加に伴うスケーラビリティとパフォーマンス向上を実証すること。

提案手法

• ソーシャル・ネットワークに内在するコミュニティ構造と階層的構造を活用し、コンパクトなランドマーク・ノードのセットを事前計算・インデックス化する。
• 2段階のクエリアルゴリズムを採用：ソースからの前方探索とターゲットからの後方探索を、事前に計算されたランドマークに従ってガイドする。
• ランドマークへの期待距離に基づく新しいプルーニング戦略を適用し、探索空間を顕著に削減する。
• ネットワークの密度とサイズに応じて、ランドマークの数とその選定を動的に調整し、正確性と効率性のバランスを取る。
• 階層的クラスタリングとランドマークベースのルーティングを組み合わせたハイブリッドインデキシング方式を採用し、経路計算を高速化する。
• ネットワークサイズに応じて効率的にスケーリングできるように設計されており、ネットワークがより密度高く、より大きくなるに従い、パフォーマンスが向上する。

実験結果

リサーチクエスチョン

• RQ1 すべてのペアの最短経路を事前計算する手法と比較して、大幅に少ないメモリで、マスなソーシャル・ネットワークにおいて1ミリ秒未塔の最短経路クエリを処理できるか？
• RQ2 ネットワークサイズと密度の増加に伴って、提案手法のパフォーマンスはどのように変化するか？
• RQ3 ソーシャル・ネットワークのどのような構造的性質を活用することで、最短経路計算を高速化できるか？
• RQ4 実世界のネットワークにおいて正確性を損なわずに、クエリ遅延をどの程度まで低減できるか？
• RQ5 最新技術と比較して、スピード、メモリ使用量、クエリ成功確率の観点で、本手法はどのように優れているか？

主な発見

• LiveJournal（500万ノード、6900万エッジ）において、99.9％の最短経路クエリが1ミリ秒未塔で応答された。
• 提案手法は、すべてのペアの最短経路を保存する手法と比較して、少なくとも550倍のメモリ使用量削減を達成した。
• 平均クエリ時間は365マイクロ秒であり、最新技術のアルゴリズムと比較して430倍の高速化を実現した。
• より大きなOrkutネットワーク（300万ノード、2億2000万エッジ）において、本手法は最新技術のアルゴリズムと比較して約2588倍高速であった。
• ネットワークサイズと密度の増加に伴いパフォーマンスが向上し、実世界のソーシャル・グラフに強くスケーラブルで適応可能であることが示された。
• 多様なネットワークトポロジーとスケールにわたり、高い正確性（99.9％が1ミリ秒未塔）を維持した。