[論文レビュー] On Sampling from Massive Graph Streams

Nesreen K. Ahmed, Nick Duffield+2 more|arXiv (Cornell University)|Mar 7, 2017

Data Stream Mining Techniques参考文献 34被引用数 9

ひとこと要約

本稿では、巨大グラフストリームにおけるエッジ抽出と部分グラフ推定を分離する、新しい順序ベースのリザーバー・サンプリング枠組みであるGraph Priority Sampling (gps) を提案する。補助変数を用いてエッジの重みを動的に調整することで、部分グラフカウント推定の分散を最小化する。三角形やワッジのカウントにおいて1%未塔の誤差を達成しながら、エッジのわずかな部分集合（例：2億6000万エッジのTwitterグラフでは4万エッジ）しか保持しないため、非常に高いメモリ効率を実現する。

ABSTRACT

We propose Graph Priority Sampling (GPS), a new paradigm for order-based reservoir sampling from massive streams of graph edges. GPS provides a general way to weight edge sampling according to auxiliary and/or size variables so as to accomplish various estimation goals of graph properties. In the context of subgraph counting, we show how edge sampling weights can be chosen so as to minimize the estimation variance of counts of specified sets of subgraphs. In distinction with many prior graph sampling schemes, GPS separates the functions of edge sampling and subgraph estimation. We propose two estimation frameworks: (1) Post-Stream estimation, to allow GPS to construct a reference sample of edges to support retrospective graph queries, and (2) In-Stream estimation, to allow GPS to obtain lower variance estimates by incrementally updating the subgraph count estimates during stream processing. Unbiasedness of subgraph estimators is established through a new Martingale formulation of graph stream order sampling, which shows that subgraph estimators, written as a product of constituent edge estimators are unbiased, even when computed at different points in the stream. The separation of estimation and sampling enables significant resource savings relative to previous work. We illustrate our framework with applications to triangle and wedge counting. We perform a large-scale experimental study on real-world graphs from various domains and types. GPS achieves high accuracy with less than 1% error for triangle and wedge counting, while storing a small fraction of the graph with average update times of a few microseconds per edge. Notably, for a large Twitter graph with more than 260M edges, GPS accurately estimates triangle counts with less than 1% error, while storing only 40K edges.

研究の動機と目的

• 正確な計算が不可能な、高速度で大規模なグラフストリームからのグラフ特性推定の課題に対処すること。
• 従来のサンプリング手法には、設計が固定されており、補助情報への適応性に欠け、特定の部分グラフタイプの推定分散を最小化できないという限界があること。
• サンプリングプロセスと部分グラフ推定を分離することで、柔軟で増分的かつバイアスのない推定を、最小限のメモリ使用量で実現すること。
• 任意の部分グラフクエリに対して、ストリーム終了後およびストリーム中両方の推定をサポートする汎用フレームワークを提供すること。

提案手法

• 推定の分散を最小化するため、補助変数またはサイズ変数に基づいてエッジのサンプリング確率を割り当てる、優先度ベースのリザーバー・サンプリング方式としてGraph Priority Sampling (gps) を提案する。
• 2つの推定フレームワークを導入する：ストリーム終了後のリモートクエリ用のPost-Stream推定、ストリーム処理中にリアルタイムで低分散更新を行うIn-Stream推定。
• 新規のマルティングル形式を用いて、部分グラフ推定器の不偏性を確立し、エッジ推定器の積が、ストリーム内の異なる時刻に計算された場合でも不偏のまま保たれることを証明する。
• サンプリングと推定の分離を活用してリソース使用量を削減し、重複計算を回避するとともに、効率的な増分更新を可能にする。
• 特定の部分グラフ（例：三角形、ワッジ）に寄与するエッジを優先的にサンプリングするようにエッジのサンプリング重みを設計し、最終的な推定値の全体的な分散を最小化する。
• 部分グラフカウントの推定を、エッジレベルの推定器の積として定式化し、不確実性の正確な評価のため、分散および共分散項を明示的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 大規模なグラフストリームにおいて、部分グラフカウント推定の分散を最小化しつつ、不偏性を保つサンプリング枠組みをどのように設計できるか？
• RQ2 サンプリングプロセスと部分グラフ推定を分離することで、効率性が向上し、リモート解析とリアルタイム解析の両方が可能になるか？
• RQ3 ストリーム内の異なる時点での推定値を計算しても、部分グラフ推定器が不偏であることを保証する理論的基盤は何か？
• RQ4 補助変数またはサイズ変数に基づくエッジのサンプリング重みは、部分グラフカウント推定の精度と分散にどのように影響を与えるか？
• RQ5 本フレームワークは、数十億エッジを有する実世界のグラフに対しても、高い精度と低メモリ使用量を維持しながらスケーラブルか？

主な発見

• gpsは、実世界のグラフ（2億6000万エッジを超える大規模なTwitterグラフ含む）において、三角形およびワッジのカウントで1%未塔の誤差を達成する。
• 同じTwitterグラフにおいて、gpsはわずか4万エッジを保持しながらも、三角形カウントを1%未塔の誤差で推定でき、極めて優れたメモリ効率を示す。
• 1エッジあたりの平均更新時間は数マイクロ秒であり、大規模なリアルタイム処理が可能である。
• Post-Stream推定とIn-Stream推定の両方をサポートしており、後者は増分更新により低い分散を達成する。
• 理論的分析により、新規のマルティングルベースの定式化のおかげで、部分グラフ推定器がストリーム内の異なる時刻に計算された場合でも不偏であることが確認された。
• 分散推定における共分散項は、部分グラフがエッジを共有する場合にのみ非ゼロとなり、本フレームワークはこれらを明示的にモデル化することで、正確な不確実性の評価を実現している。