[論文レビュー] All-Distances Sketches, Revisited: Scalable Estimation of the Distance Distribution and Centralities in Massive Graphs

Edith Cohen|arXiv (Cornell University)|Jun 14, 2013

Data Management and Algorithms参考文献 22被引用数 7

ひとこと要約

本稿は、大規模グラフにおける距離関連のグラフ統計量の高精度で不偏かつ低分散な推定を可能にする、All-Distances Sketches (ADS) のための歴史的逆確率 (HIP) 評価器を導入する。HIP は、従来の推定器と比較して分散を最大で半減させ、HyperLogLog MinHash スケッチにおける推定品質を向上させ、中心性および近隣ノードの基数計算のための統一的でスケーラブルなフレームワークを提供する。

ABSTRACT

Graph datasets with billions of edges, such as social and Web graphs, are prevalent, and scalable computation is critical. All-distances sketches (ADS) [Cohen 1997], are a powerful tool for scalable approximation of statistics. The sketch is a small size sample of the distance relation of a node which emphasizes closer nodes. Sketches for all nodes are computed using a nearly linear computation and estimators are applied to sketches of nodes to estimate their properties. We provide, for the first time, a unified exposition of ADS algorithms and applications. We present the Historic Inverse Probability (HIP) estimators which are applied to the ADS of a node to estimate a large natural class of statistics. For the important special cases of neighborhood cardinalities (the number of nodes within some query distance) and closeness centralities, HIP estimators have at most half the variance of previous estimators and we show that this is essentially optimal. Moreover, HIP obtains a polynomial improvement for more general statistics and the estimators are simple, flexible, unbiased, and elegant. For approximate distinct counting on data streams, HIP outperforms the original estimators for the HyperLogLog MinHash sketches (Flajolet et al. 2007), obtaining significantly improved estimation quality for this state-of-the-art practical algorithm.

研究の動機と目的

• 大規模グラフ解析における All-Distances Sketches (ADS) アルゴリズムおよびその応用を統一的に解説すること。
• 大規模グラフにおける距離関連統計量の低分散・不偏推定器の不足を解消すること。
• グラフ中心性分析に不可欠な近隣ノードの基数およびクロージネス中心性の推定精度を向上させること。
• 一般かつ柔軟な推定器フレームワークを通じて、ADS の適用範囲を広いクラスのグラフ統計量へ拡張すること。
• 特に HyperLogLog MinHash スケッチにおけるデータストリームにおける近似相異なる数え上げのパフォーマンスを向上させること。

提案手法

• 歴史的サンプリング確率を活用して距離統計量推定の分散を低減する、歴史的逆確率 (HIP) 評価器を提案する。
• 各ノードのスケッチが近いノードに偏った標本を捉える All-Distances Sketches (ADS) に HIP を適用する。
• 従来手法と比較して、特に近隣ノードの基数およびクロージネス中心性において、不偏かつ顕著に低い分散を示す推定器を設計する。
• 距離分布から導かれる統計量を含む広いクラスのグラフ統計量へ一般化可能な柔軟なフレームワークを導入する。
• HIP が HyperLogLog MinHash スケッチにおける推定品質を向上させ、実用的なデータストリーム応用において元の推定器を上回ることを実証する。
• すべてのノードのスケッチをほぼ線形時間で構築する手法を採用し、数十億エッジを持つグラフに対してもスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 All-Distances Sketches に対して、多様なグラフ統計量を正確に推定できる統一的で低分散の推定器を開発できるか？
• RQ2 HIP 評価器は、近隣ノードの基数およびクロージネス中心性の分野で、既存の推定器と比較して分散と精度でどのように差をつけるか？
• RQ3 HIP は、特に HyperLogLog MinHash スケッチにおいて、データストリームにおける近似相異なる数え上げのパフォーマンスをどの程度向上させられるか？
• RQ4 スケッチベース推定における距離関連統計量の分散低減に関して、HIP 評価器は最適であるか？
• RQ5 HIP フレームワークは、最小限の計算オーバーヘッドで、広いクラスのグラフ統計量に対して柔軟かつ効率的に適用可能か？

主な発見

• HIP 評価器は、近隣ノードの基数およびクロージネス中心性について、従来の推定器と比較して分散を最大で半減させ、推定精度の顕著な向上を示している。
• HIP 評価器が不偏であることが証明され、一般統計量において分散が多項式的に改善されることを示しており、理論的・実用的優位性が明確である。
• 提示された統計量において、HIP フレームワークは分散低減の観点で本質的に最適であることが示され、同じサンプリングモデル下でさらなる改善の余地はほとんどないことを示唆している。
• HIP は、元の HyperLogLog MinHash 推定器を上回り、データストリーム応用における近似相異なる数え上げの推定品質を顕著に向上させている。
• 本手法により、数十億エッジを持つ大規模グラフに対しても、すべてのノードのスケッチをスケーラブルにほぼ線形時間で計算可能である。
• 統一されたフレームワークにより、多様な距離ベースの推定に向けた一元的で洗練されたソリューションを提供し、大規模ネットワークにおける多様なグラフ統計量をカバーしている。