[論文レビュー] Graph Sample and Hold: A Framework for Big-Graph Analytics

Nesreen K. Ahmed, Nick Duffield+2 more|arXiv (Cornell University)|Mar 16, 2014

Complex Network Analysis Techniques参考文献 43被引用数 38

ひとこと要約

本稿では、多数のグラフ特性を偏りのない推定が可能になるように、小さなサンプル状態を維持する、大規模グラフ解析のための1パス・ストリーミングフレームワークであるGraph Sample and Hold (gSH) を提案する。エッジ固有のサンプリング確率を用いたHorvitz-Thompson推定により、40,000エッジ未塔のサンプルで実世界のグラフにおいて相対誤差0.02–0.95%を達成し、精度とストレージ効率の両面で先行手法を上回った。

ABSTRACT

Sampling is a standard approach in big-graph analytics; the goal is to efficiently estimate the graph properties by consulting a sample of the whole population. A perfect sample is assumed to mirror every property of the whole population. Unfortunately, such a perfect sample is hard to collect in complex populations such as graphs (e.g. web graphs, social networks etc), where an underlying network connects the units of the population. Therefore, a good sample will be representative in the sense that graph properties of interest can be estimated with a known degree of accuracy. While previous work focused particularly on sampling schemes used to estimate certain graph properties (e.g. triangle count), much less is known for the case when we need to estimate various graph properties with the same sampling scheme. In this paper, we propose a generic stream sampling framework for big-graph analytics, called Graph Sample and Hold (gSH). To begin, the proposed framework samples from massive graphs sequentially in a single pass, one edge at a time, while maintaining a small state. We then show how to produce unbiased estimators for various graph properties from the sample. Given that the graph analysis algorithms will run on a sample instead of the whole population, the runtime complexity of these algorithm is kept under control. Moreover, given that the estimators of graph properties are unbiased, the approximation error is kept under control. Finally, we show the performance of the proposed framework (gSH) on various types of graphs, such as social graphs, among others.

研究の動機と目的

• 限られた計算リソースの中で、大規模グラフにおける多数のグラフ特性を効率的に推定する課題に対処すること。
• 小さな動的維持サンプルを用いて、多様なグラフ特性の偏りのない推定を可能にする汎用的サンプリングフレームワークを設計すること。
• 三角形数、ノード次数、部分グラフ頻度などのグラフ指標について、推定の正確性を保証するとともに、分散の証明可能な上限と信頼区間を提供すること。
• ソーシャルネットワークやウェブネットワークのような実世界のグラフにおいて、推定精度とストレージ効率の両面で既存のストリーミングアルゴリズムを上回ること。
• 動的または静的ストリーミング環境下で、スケーラブルかつ並列化可能な偏りのない推定器を用いたグラフ解析の計算を可能にすること。

提案手法

• gSHはエッジを1パスで逐次処理し、サンプル済みエッジとその個々のサンプリング確率を追跡する小さな状態を維持する。
• パラメータ化されたサンプリングルールを用いる：隣接するサンプル済みエッジがなければエッジは確率$p$でサンプリングされ、そうでなければ確率$q$でサンプリングされる。これにより、サンプルの構成を制御できる。
• グラフ特性の不偏推定量は、Horvitz-Thompson重み付けを用いて構築され、各サンプル部分グラフの寄与は、そのエッジ選択確率の積の逆数でスケーリングされる。
• 推定量の分散は、選択されたエッジのサンプリング確率から直接計算され、追加のストレージを要せず信頼区間推定が可能となる。
• 分散推定量の並列計算が可能であり、大規模グラフにおいて実行時間を顕著に短縮できる。
• サンプリング戦略は、高次ノードを優遇するか、均等なノードサンプリングにするように調整可能であり、ノードごとの三角形数などの特性の標的推定が可能となる。

実験結果

リサーチクエスチョン

• RQ1 1パス・ストリーミング・サンプリングフレームワークは、最小限のストレージオーバーヘッドで、多数のグラフ特性に対する不偏推定量を提供できるか？
• RQ2 パrameter $p$ と $q$ の選択が、実世界のグラフにおけるサンプルの代表性和およびサイズにどのように影響するか？
• RQ3 Streaming-Triangles などの最先端ストリーミングアルゴリズムと比較して、gSHは推定誤差をどの程度低減できるか？
• RQ4 gSHは、全エッジの1%未満のサンプル（例：1%未満）を用いて、相対誤差を1%未満に維持できるか？
• RQ5 gSHフレームワーク内での分散推定量および信頼区間の並列計算は、どの程度効率的に行えるか？

主な発見

• gSHは、Facebook やウェブグラフを含む実世界のグラフにおいて、最大40,000エッジのサンプルで相対誤差0.02%～0.95%を達成した。
• フレームワークは、三角形数、ノード次数、部分グラフ頻度という4つの主要なグラフ特性に対して不偏推定量を生成し、分散推定量はサンプリング確率から直接導出された。
• Streaming-Trianglesアルゴリズム（三角形数の推定に特化）と比較して、gSHは推定誤差を桁違いに低減した。
• gSHのストレージオーバーヘッドは、正確な結果を得るための128,000エッジ以上の推定器を必要とするStreaming-Trianglesアルゴリズムよりも顕著に小さかった。
• サンプルサイズが増加するに従い、誤差は減少し、誤差の分布は真の値を中心に偏りのないバランスの取れた形状を示した。
• gSHにおける分散計算の並列化により、実行時間が顕著に短縮され、大規模グラフにおけるスケーラブルな展開が可能となった。