[論文レビュー] Succinct Sampling on Streams

Vladimir Braverman, Rafail Ostrovsky+1 more|ArXiv.org|Feb 25, 2007

Advanced Database Systems and Queries参考文献 47被引用数 3

ひとこと要約

この論文は、データストリームにおけるスライディングウィンドウ上での一様サンプリング（復元あり・なしを含む）に対して、証明可能な最適で最悪ケースのメモリ保証を提供するS³（Succinct Sampling on Streams）アルゴリズムを紹介する。1回ずつ到着するモデルとバースト型到着モデルの両方をカバーする。この手法により、周波数モーメント、三角形カウント、エントロピー推定、密度推定の分野で、初めてのメモリ最適な解決策が可能となり、非重複ウィンドウ間で独立性を保証する新規なサンプリング技術を用いることで、浮動小数点演算を回避する。

ABSTRACT

A streaming model is one where data items arrive over long period of time, either one item at a time or in bursts. Typical tasks include computing various statistics over a sliding window of some fixed time-horizon. What makes the streaming model interesting is that as the time progresses, old items expire and new ones arrive. One of the simplest and central tasks in this model is sampling. That is, the task of maintaining up to $k$ uniformly distributed items from a current time-window as old items expire and new ones arrive. We call sampling algorithms {\bf succinct} if they use provably optimal (up to constant factors) {\bf worst-case} memory to maintain $k$ items (either with or without replacement). We stress that in many applications structures that have {\em expected} succinct representation as the time progresses are not sufficient, as small probability events eventually happen with probability 1. Thus, in this paper we ask the following question: are Succinct Sampling on Streams (or $S^3$-algorithms)possible, and if so for what models? Perhaps somewhat surprisingly, we show that $S^3$-algorithms are possible for {\em all} variants of the problem mentioned above, i.e. both with and without replacement and both for one-at-a-time and bursty arrival models. Finally, we use $S^3$ algorithms to solve various problems in sliding windows model, including frequency moments, counting triangles, entropy and density estimations. For these problems we present \emph{first} solutions with provable worst-case memory guarantees.

研究の動機と目的

• スライディングウィンドウモデル（古いデータが失効し、新しいデータが継続的に到着する）において、最悪ケースのメモリ保証が欠如している点を是正すること。
• 期待メモリ量に依存しないが、決定的でかつメモリ最適なサンプリングアルゴリズムの開発。まれだが避けられないエッジケースで失敗する期待メモリ型手法の回避。
• 周波数モーメント、三角形カウント、エントロピー推定、密度推定の既存のサンプリングベースのアルゴリズムを、明示的なメモリ境界を保証するスライディングウィンドウモデルに拡張すること。
• バースト型到着モデルにおける浮動小数点演算の依存を排除することで、実用性と決定論的性質を向上させること。
• 非重複ウィンドウからのサンプルが統計的に独立であることを保証することで、再利用性とクエリの柔軟性を向上させること。

提案手法

• サイズ$k$の一様ランダムサンプルをスライディングウィンドウ上で維持する新規なサンプリング手法を提案。$O(k)$のメモリを用い、既知の下界と一致する。
• リザーバー型構造を採用するが、最悪ケースのメモリ境界と非重複ウィンドウ間での独立性を保証するように選択確率を修正する。
• S³フレームワークを用いて、周波数モーメント、三角形カウント、エントロピー推定、密度推定の既存アルゴリズムにおける従来のサンプリング手法（例：プライオリティサンプリング、リザーバーサンプリング）を置き換える。
• シーケンスベースおよびタイムスタンプベースのスライディングウィンドウモデルの両方に対応し、復元あり・なしの両方のサンプリングをサポートする。
• バースト型モデルで浮動小数点演算を回避するため、整数ベースの確率閾値を用いることで、決定論的かつ効率的な処理を実現する。
• 異なる長さの複数のウィンドウからのサンプルを、ステップバイアス関数を組み合わせることで、動的環境における非一様サンプリングをサポートする。

実験結果

リサーチクエスチョン

• RQ1 スライディングウィンドウに対して、証明可能な最適な最悪ケースメモリ使用量を持つストリーミングサンプリングアルゴリズムを設計できるか？
• RQ2 1回ずつ到着するモデルにおいて、メモリ最適性と非重複ウィンドウ間のサンプル独立性を両立できるか？
• RQ3 バースト型到着モデルで浮動小数点演算を排除しつつ、サンプリングの正しさとメモリ効率を維持できるか？
• RQ4 S³を用いて、周波数モーメント、三角形カウント、エントロピー推定のスライディングウィンドウ設定における、初めてのメモリ最適なアルゴリズムを構築できるか？
• RQ5 S³を動的ストリーミング環境における非一様分布（バイアス付きサンプリングなど）に拡張できるか？

主な発見

• 本論文は、上界と下界が一致する最初の$S^3$アルゴリズムを提示し、復元あり・なしを問わず、最適な$O(k)$のメモリ使用量を達成する。
• 周波数モーメントに対しては、すべての$k>2$に対して$\tilde{O}(m^{1-1/k})$ビットのメモリアルゴリズムが可能となり、従来のサンプリングベースの手法を改善する。
• 周波数モーメントに対して$\tilde{O}(m^{1-2/k})$ビットのアルゴリズムが得られ、既存の最良の境界と一致するが、$k^k$の乗法的オーバーヘッドがあるため、$k$が大きい場合には実用性が制限される。
• 三角形カウントに対しては、$(\epsilon,\delta)$-近似アルゴリズムが、シーケンスベースのウィンドウでは$O(1 + \frac{\log|E_W|}{|E_W|} \cdot \frac{1}{\epsilon^2} \cdot \frac{|T_1| + 2|T_2| + 3|T_3|}{|T_3|} \log \frac{2}{\delta})$のメモリを要し、タイムスタンプベースのウィンドウでは$\log n$の要因が加算される。
• エントロピー推定に対しては、$O(\epsilon^{-2} \log \delta^{-1} \log n)$のメモリを達成し、スライディングウィンドウにおいて最悪ケースの保証がない既存手法を上回る。
• S³フレームワークにより、密度推定およびバイアス付きサンプリングの分野で、スライディングウィンドウモデルにおける初めてのメモリ最適な解決策が可能になった。これは、従来のサンプリングプリミティブを$S^3$に置き換えることで実現した。