[論文レビュー] Feasible Sampling of Non-strict Turnstile Data Streams

Neta Barkay, Ely Porat+1 more|arXiv (Cornell University)|Sep 25, 2012

Data Stream Mining Techniques参考文献 5被引用数 3

ひとこと要約

この論文は、非厳密Turnstileデータストリームにおける最初の実行可能かつ正確なサンプリング手法を提示する。値-カウントペア (k, Cₖ) のサンプリングを、保証された成功確率で効率的に行うことが可能である。本手法は、1つの共有データ構造を用いて複数の要素を高確率で抽出することで、1要素あたり O((log log(1/ε))² + (log log(1/δ))²) の計算量を達成し、従来手法に比べて1桁の改善を実現した。また、加法的誤差保証付きで前方分布および逆分布クエリをサポートする。

ABSTRACT

We present the first feasible method for sampling a dynamic data stream with deletions, where the sample consists of pairs $(k,C_k)$ of a value $k$ and its exact total count $C_k$. Our algorithms are for both Strict Turnstile data streams and the most general Non-strict Turnstile data streams, where each element may have a negative total count. Our method improves by an order of magnitude the known processing time of each element in the stream, which is extremely crucial for data stream applications. For example, for a sample of size $O(ε^{-2} \log{(1/δ)})$ in Non-strict streams, our solution requires $O((\log\log(1/ε))^2 + (\log\log(1/δ)) ^ 2)$ operations per stream element, whereas the best previous solution requires $O(ε^{-2} \log^2(1/δ))$ evaluations of a fully independent hash function per element. Here $1-δ$ is the success probability and $ε$ is the additive approximation error. We achieve this improvement by constructing a single data structure from which multiple elements can be extracted with very high success probability. The sample we generate is useful for calculating both forward and inverse distribution statistics, within an additive error, with provable guarantees on the success probability. Furthermore, our algorithms can run on distributed systems and extract statistics on the union or difference between data streams. They can be used to calculate the Jaccard similarity coefficient as well.

研究の動機と目的

• 削除を伴う動的データストリームにおける効率的な正確なサンプリングアルゴリズムの欠如、特に値の合計カウントが負になる可能性がある非厳密Turnstileモデルにおける課題に対処すること。
• 正確なカウントが必須となる逆分布統計（例：頻度の頻度）を正確に推定可能にするため、近似サンプリング手法では達成できない正確なカウントを必要とすること。
• 動的サンプリングにおける1要素あたりの処理コストを、従来の O(ε⁻² log²(1/δ)) から O((log log(1/ε))² + (log log(1/δ))²) に低減することで、リアルタイムストリーム処理における効率を著しく向上させること。
• 複数のストリームからの統合的サンプリングを可能にするために、別々のストリームからのデータ構造に対して結合および差分操作を可能にする分散ストリーム処理をサポートすること。

提案手法

• 本手法は、複数のバケットにハッシュベースのバケッティングを用いて複数の要素を高確率で同時に抽出できる、1つの共有データ構造（FRS または ϵ-FRS）を用いる。
• 要素をバケットにマッピングするために、t = Θ(log(K/δ)) の t-独立なハッシュ関数を用い、衝突確率を低く抑え、正確なカウントの回復を強固に保証する。
• 復元中に誤検出を検出・回避するためのフェイルセット（fail set）を導入し、大きな衝突および小さな衝突の両方の確率を制御することで誤差確率を管理する。
• 非厳密Turnstileストリームでは、各バケットごとに別個のバケット構造（BSₙₛ）を維持し、誤検出確率を制限するために範囲 q = Θ(K/δ) を用いる。
• 復元プロセスは2段階戦略を採用する：まず、単一要素を含むバケットを検出（成功確率100％）、次に、誤差確率が有界な小規模な衝突を処理する。
• 独立したストリームからのデータ構造の加算および減算を可能にすることで、分散計算をサポートし、複数のストリームの結合または差分からの統合的サンプリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 値の合計カウントが負になる可能性がある非厳密Turnstileデータストリームにおいて、正確なサンプリングを効率的に達成できるか？
• RQ2 従来の O(ε⁻² log²(1/δ)) の境界を超えて、ε および δ に関して多項式時間より低い時間計算量（非多項式時間）での正確なサンプリングの1要素あたり処理コストを低減できるか？
• RQ3 1つのデータ構造が複数の要素を高確率で抽出可能であり、K 個の独立したインスタンスを必要としないか？
• RQ4 正確なサンプリングを、複数のストリーム間の結合および差分操作をサポートする分散ストリーム処理に拡張できるか？
• RQ5 提案手法が、前方分布および逆分布クエリの両方に対して、保証された加法的誤差を提供できるか？

主な発見

• 提案アルゴリズムは、ストリームの1要素あたり O((log log(1/ε))² + (log log(1/δ))²) の計算量を達成し、従来の O(ε⁻² log²(1/δ)) の境界に比べて1桁の改善を実現する。
• サンプリングプロセスの成功確率は 1−δ 以上であり、衝突イベントとハッシュ関数の独立性の適切な制御により、誤差確率が δ で抑えられる。
• Cₖ = 0（すなわち削除済み要素）である場合でも、(k, Cₖ) ペアの正確なサンプリングが可能であり、そのような値がサンプルに含まれないことを保証する。
• 本フレームワークは、正確な逆分布クエリを可能にする。例えば、f⁻¹(i) = |{k : Cₖ = i}| / |{k : Cₖ ≠ 0}| を、高確率で加法的誤差 ε 以内で推定できる。
• データ構造は分散処理をサポートする：複数のストリームの結合や差分は、データ構造の加算または減算によって計算可能であり、複数のソースからの統合的サンプリングを可能にする。
• 本アルゴリズムを用いることで、ストリームの差分または結合からサンプリングし、ジャカード係数を計算できる。