[論文レビュー] Fast and Scalable Analysis of Massive Social Graphs

Xiaohan Zhao, Alessandra Sala+2 more|arXiv (Cornell University)|Jul 26, 2011

Complex Network Analysis Techniques参考文献 32被引用数 12

ひとこと要約

本稿では、巨大なソーシャルグラフにおけるノード間距離および最短経路の高速でスケーラブルかつ高精度な近似を可能にする、双曲的グラフ座標系Rigelを提案する。双曲空間へのグラフ埋め込みと前処理フェーズの並列化により、Rigelは距離クエリに数十マイクロ秒で応答し、同等の精度を持つ従来のシステムと比較して最短経路の計算を最大18倍高速化する。

ABSTRACT

Graph analysis is a critical component of applications such as online social networks, protein interactions in biological networks, and Internet traffic analysis. The arrival of massive graphs with hundreds of millions of nodes, e.g. social graphs, presents a unique challenge to graph analysis applications. Most of these applications rely on computing distances between node pairs, which for large graphs can take minutes to compute using traditional algorithms such as breadth-first-search (BFS). In this paper, we study ways to enable scalable graph processing on today's massive graphs. We explore the design space of graph coordinate systems, a new approach that accurately approximates node distances in constant time by embedding graphs into coordinate spaces. We show that a hyperbolic embedding produces relatively low distortion error, and propose Rigel, a hyperbolic graph coordinate system that lends itself to efficient parallelization across a compute cluster. Rigel produces significantly more accurate results than prior systems, and is naturally parallelizable across compute clusters, allowing it to provide accurate results for graphs up to 43 million nodes. Finally, we show that Rigel's functionality can be easily extended to locate (near-) shortest paths between node pairs. After a one- time preprocessing cost, Rigel answers node-distance queries in 10's of microseconds, and also produces shortest path results up to 18 times faster than prior shortest-path systems with similar levels of accuracy.

研究の動機と目的

• 最大4300万ノードを有する巨大グラフにおいて、BFS や Dijkstra などの従来のグラフアルゴリズムが直面するスケーラビリティのボトル neck を解消すること。
• 従来の手法（例：Orion）が15–20%の誤差を示していたのに対し、グラフ座標系の精度をさらに向上させること。
• 実世界のコンmodityクラスタ上で展開可能な、効率的で並列化可能な前処理を可能にすること。
• 距離の近似に加え、正確な最短経路の復元を可能にする座標ベースのシステムへの拡張。
• 大規模グラフにおいて、距離クエリおよび経路クエリの両方で、数十マイクロ秒未満の低遅延応答を達成すること。

提案手法

• 双曲幾何の曲率を活用して、グラフ距離の近似をより良くするため、大規模なソーシャルグラフを双曲空間に埋め込むことで、距離の歪みを最小限に抑える。
• 計算クラスタ全体にスケーリング可能な分散型で並列処理が可能なグラフ埋め込みアルゴリズムを設計し、数百万ノードのグラフにおける前処理時間を短縮する。
• 得られた双曲座標を用いて、定数時間でノード間距離を近似可能にし、サブミリ秒未満のクエリ解決を実現する。
• Rigelの距離推定値を活用して、ノードペア間の実際の最短経路を効率的に特定・再構築する、新規のアルゴリズム「Rigel Paths」を開発する。
• ハイブリッドクエリ戦略を統合：Rigelの距離推定値を経路再構築のガイドとして用いることで、高精度を維持しつつ低遅延を実現する。
• 実世界のソーシャルグラフ（例：Facebook, Flickr, Renren）を用いてシステムを実装・評価し、多様なグラフトポロジーにおいて性能と精度を検証する。

実験結果

リサーチクエスチョン

• RQ1 双曲空間は、巨大なソーシャルグラフにおいて、ユークリッド空間と比較して距離近似の歪みを低くできるか？
• RQ2 最大4300万ノードのグラフにスケーリング可能な、計算コストの高いグラフ埋め込みプロセスをどのように効果的に並列化できるか？
• RQ3 グラフ座標を用いて正確な最短経路をどの程度復元できるか。また、これによりスケッチベースやランドマークベースの経路探索手法と比較してどうなるか？
• RQ4 座標ベースのシステムにおいて、前処理コストとクエリ遅延のトレードオフは何か。サブミリ秒未満のクエリ性能を達成できるか？
• RQ5 座標系が生産規模のソーシャルネットワークにおけるリアルタイムグラフ解析に十分な精度と効率を備えているか？

主な発見

• Rigelは、Orionなどの従来のシステムと比較して、双曲埋め込みにより著しく低い距離歪みを達成し、誤差率を15–20%からはるかに低く抑える。
• 本システムは、最大4300万ノードおよび10億を超えるエッジを有するグラフにスケーリング可能であり、実世界のソーシャルネットワークデータセットにおける実用的妥当性を示している。
• Rigelはノード間距離クエリに10–100マイクロ秒で応答し、巨大グラフにおいてもサブミリ秒未満の応答時間を達成している。
• Rigel Pathsは多数のノードペアについて正確な最短経路を計算し、絶対誤差が0.3ホップ未満に抑えられ、スケッチベース手法を上回る精度を示している。
• Rigel Pathsは、TreeSketch や SketchCESC といった最先端のシステムと比較して、最大18倍の高速化を達成しながら、同等またはより高い精度を維持している。
• Rigelの前処理フェーズは複数のマシンに分散可能であり、ほぼ線形のスルーブプット向上が得られ、並列化された場合、単一サーバーのスケッチベースシステムを上回るか同等の総処理時間を達成する。