[論文レビュー] WRS: Waiting Room Sampling for Accurate Triangle Counting in Real Graph Streams

Kijung Shin|arXiv (Cornell University)|Sep 10, 2017

Data Stream Mining Techniques被引用数 4

ひとこと要約

本稿では、動的グラフにおける三角形カウントの精度を向上させるため、一回のスキャンで動作するストリーミングアルゴリズムであるWaiting-Room Sampling (WRS) を提案する。WRSは、最近のエッジを '待機室' に優先して保存し、残りのエッジについてはリザーバー・サンプリングを用いる。時間的局所性を活用することで、最先端の手法と比較して推定誤差を最大47%まで低減し、線形スケーラビリティを保ちながら、バイアスのない低分散推定を実現する。

ABSTRACT

If we cannot store all edges in a graph stream, which edges should we store to estimate the triangle count accurately? Counting triangles (i.e., cycles of length three) is a fundamental graph problem with many applications in social network analysis, web mining, anomaly detection, etc. Recently, much effort has been made to accurately estimate global and local triangle counts in streaming settings with limited space. Although existing methods use sampling techniques without considering temporal dependencies in edges, we observe temporal locality in real dynamic graphs. That is, future edges are more likely to form triangles with recent edges than with older edges. In this work, we propose a single-pass streaming algorithm called Waiting-Room Sampling (WRS) for global and local triangle counting. WRS exploits the temporal locality by always storing the most recent edges, which future edges are more likely to form triangles with, in the waiting room, while it uses reservoir sampling for the remaining edges. Our theoretical and empirical analyses show that WRS is: (a) Fast and 'any time': runs in linear time, always maintaining and updating estimates while new edges arrive, (b) Effective: yields up to 47% smaller estimation error than its best competitors, and (c) Theoretically sound: gives unbiased estimates with small variances under the temporal locality.

研究の動機と目的

• 大規模なグラフストリームにおいて限られたメモリで、グローバルおよびローカルな三角形カウントを正確に推定する課題に対処すること。
• 時間的局所性（将来のエッジが最近のエッジと三角形を形成する確率が高い）を活用するため、メモリに配慮したサンプリング戦略を設計すること。
• データインジェッションの途中段階でも、終了時だけでなく常にバイアスのない低分散推定を維持するストリーミングアルゴリズムを開発すること。
• 現実の時間的ダイナミクスを反映する動的グラフにおいて、既存のサンプリングベースの三角形カウント手法を、精度面で上回ること。

提案手法

• WRSはメモリ予算を二つのコンponentに分割する：最近到着したエッジを格納する '待機室' と、残りのエッジを標準的なリザーバー・サンプリングで処理する 'リザーバー' である。
• 待機室により、到着するエッジと三角形を形成する可能性の高いエッジがメモリ内に既に存在する確率が向上し、サンプリング効率が向上する。
• 各新しいエッジに対して、待機室およびリザーバー内のエッジのすべてのペアをチェックし、三角形の形成を検出することで、グローバルおよびローカルな三角形カウント推定値を維持する。
• サンプルされたエッジからの三角形カウントの重み付き組み合わせにより推定値を算出し、重みは待機室またはリザーバーへの包含確率から導出される。
• 理論的分析により、時間的局所性の仮定の下で、WRSがバイアスのない推定量を生成し、分散が小さいことを証明している。
• 本手法は 'いつでも'（any time）であるように設計されており、新しいエッジが到着するたびに推定値を継続的に維持・更新でき、エッジあたり線形時間計算量を達成する。

実験結果

リサーチクエスチョン

• RQ1 エッジ到着の時間的局所性を活用することで、ストリーム処理における三角形カウントの精度をどのように向上させられるか？
• RQ2 最近のエッジを優先するハイブリッド・サンプリング戦略は、i.i.d. またはリザーバー・サンプリングを上回る性能を示せるか？
• RQ3 最近のエッジを格納する '待機室' と、古いエッジを格納する 'リザーバー' を備えた二段階メモリ構造は、既存手法と比較してより低い推定誤差を達成できるか？
• RQ4 WRSは時間的局所性の下で、どの程度バイアスのない推定値と低分散を維持できるか？
• RQ5 WRSは、異なるグラフサイズおよびメモリ予算において、時間性能の面でどの程度スケーリングするか？

主な発見

• ArXiv データセットにおいて、WRSは競合手法の中でも最も優れた性能を示し、ローカル誤差が最大47%小さく、グローバル誤差が40%小さくなった。これは、強い時間的局所性に起因する。
• WRSは、同じグラフストリームを処理した際に、競合手法と比較して最大2.9倍の三角形を発見した。これは、精度向上に直接寄与した。
• アルゴリズムの実行時間はエッジ数に比例して線形にスケーリングされ、すべてのテストデータセットでその効率性と 'いつでも' 性質が確認された。
• 実験的結果から、WRSの推定値は分散が小さく、真の三角形カウントに近いことが示され、定理1および補題2におけるバイアスのなさと低分散の妥当性が裏付けられた。
• 待機室機構は、特に時間的局所性が顕著に現れるArXivやPatentのようなデータセットにおいて、サンプリング効率を顕著に向上させた。
• 異なるメモリ予算においても安定した性能を示し、低メモリ割り当て時でも一貫した性能向上が観察された。