[論文レビュー] Recursive Sketching For Frequency Moments

Vladimir Braverman, Rafail Ostrovsky|arXiv (Cornell University)|Nov 11, 2010

Cryptography and Data Security参考文献 29被引用数 29

ひとこと要約

本稿は、空間計算量を著しく削減することで、k > 2 の大規模な周波数モーメント（Fk）をデータストリームで推定するための新しい再帰的スケッチ技法を導入する。重いヘッダーのオракルを再帰的に適用し、4次独立性のみを用いることで、O(k²ǫ⁻²⁻⁴ᐟᵏ · n¹⁻²ᐟᵏ · log(m) · log(nm) · (log log n)⁴) の空間計算量を達成し、従来の境界からほぼ2乗の要因で改善され、完全なランダム性や擬似ランダムジェネレータの必要性が排除される。

ABSTRACT

In a ground-breaking paper, Indyk and Woodruff (STOC 05) showed how to compute $F_k$ (for $k>2$) in space complexity $O(\mbox{\em poly-log}(n,m)\cdot n^{1-\frac2k})$, which is optimal up to (large) poly-logarithmic factors in $n$ and $m$, where $m$ is the length of the stream and $n$ is the upper bound on the number of distinct elements in a stream. The best known lower bound for large moments is $Ω(\log(n)n^{1-\frac2k})$. A follow-up work of Bhuvanagiri, Ganguly, Kesh and Saha (SODA 2006) reduced the poly-logarithmic factors of Indyk and Woodruff to $O(\log^2(m)\cdot (\log n+ \log m)\cdot n^{1-{2\over k}})$. Further reduction of poly-log factors has been an elusive goal since 2006, when Indyk and Woodruff method seemed to hit a natural "barrier." Using our simple recursive sketch, we provide a different yet simple approach to obtain a $O(\log(m)\log(nm)\cdot (\log\log n)^4\cdot n^{1-{2\over k}})$ algorithm for constant $ε$ (our bound is, in fact, somewhat stronger, where the $(\log\log n)$ term can be replaced by any constant number of $\log $ iterations instead of just two or three, thus approaching $log^*n$. Our bound also works for non-constant $ε$ (for details see the body of the paper). Further, our algorithm requires only $4$-wise independence, in contrast to existing methods that use pseudo-random generators for computing large frequency moments.

研究の動機と目的

• 2006年以降、周波数モーメント推定における長年の『障壁』を克服すること。特に、k > 2 の場合、従来の手法では2006年以降も多対数要因を2以下に削減できなかった。
• 大規模な周波数モーメントに特に適した、暗黙的ベクトルの効率的かつ線形スケッチを可能にする新しいアルゴリズムフレームワークの開発。
• Bhuvanagiriら（2006年）が達成した O(log²m · log n · n¹⁻²ᐟᵏ) の境界を下回る空間計算量を Fk 推定で達成し、最適な Ω(n¹⁻²ᐟᵏ) の下界に近づけること。
• 完全な独立性やNisanの擬似ランダムジェネレータに依存しないようにするために、スケッチプロセスで4次独立性のみを要件とすること。

提案手法

• 重いヘッダーのオーケストラを唯一の入力として用い、暗黙のn次元非負ベクトルのL1ノルムの(1±ǫ)近似を計算する再帰的スケッチアルゴリズムを提案する。
• ストリームをサブストリーム D_j = D_{H₁…H_j} に分割するために、O(log n) 個のペアワイズ独立なランダムハッシュ関数 H₁,…,Hφ を使用する。
• 各サブストリームに対して並列に重いヘッダー手法（例：Count-Sketch や AMS の変種）を適用し、重い要素の寄与度を推定する。
• 再帰的な後退計算を用いる：Y_j = 2Y_{j+1} - Σ_{i∈Ind(Q_j)} (1 - 2h_i^j) w_{Q_j}(i)。これは最も粗いレベルから開始する。
• マーカフ不等式と集中不等式を用いて、再帰的レベル全体で定数の誤差確率（≤0.3）を保証する。
• サブストリームのサイズが減少するにつれて再帰的にアルゴリズムを適用することで、全体の空間計算量を削減。F₀(D_φ) ≤ n/log¹⁰(n) が高確率で成り立つことを利用している。

実験結果

リサーチクエスチョン

• RQ1 従来の研究で達成された O(log²m · log n) 要因を超えて、Fk 推定における多対数的オーバーヘッドを O(log²m · log n) 以下に削減することは可能か？
• RQ2 Fk のような暗黙的ベクトルに対して、中央値や繰り返しサンプリングなどの非線形演算を避けることができる線形スケッチ手法を設計することは可能か？
• RQ3 アルゴリズムが擬似ランダムジェネレータや完全な独立性を必要とせず、4次独立性のハッシュ関数のみで動作するようにすることは可能か？
• RQ4 再帰的構造を用いて問題サイズを段階的に縮小し、Ω(n¹⁻²ᐟᵏ) に近い近似的最適な空間計算量を達成することは可能か？
• RQ5 再帰的スケッチフレームワークは、周波数モーメントを超えた他の暗黙的ベクトル推定問題にも一般化可能か？

主な発見

• 提案されたアルゴリズムは、O(k²ǫ⁻²⁻⁴ᐟᵏ · n¹⁻²ᐟᵏ · log(m) · log(nm) · (log log n)⁴) の空間計算量を達成し、Bhuvanagiri らの O(log²m · log(nm) · n¹⁻²ᐟᵏ) の境界を改善する。
• この境界は、任意の定数 t に対して、O(k²ǫ⁻²⁻⁴ᐟᵏ · n¹⁻²ᐟᵏ · log(n) · log(n log m) · g_t(n)) にさらに改善可能であり、g_t(n) = log(g_{t-1}(n)) かつ g_0(n) = n と定義される。
• アルゴリズムは4次独立性のみを要件としており、完全な独立性やNisanの擬似ランダムジェネレータの必要性が排除される。
• 非定数のǫに対してもロバストであり、各レベルで問題サイズを段階的に縮小する再帰的精錬が可能である。
• 空間計算量は既知の Ω(log n · n¹⁻²ᐟᵏ) の下界にほぼ一致し、上界と下界の差をほぼ2乗の要因で縮小する。
• 線形変換による次元削減の新手法を提供し、暗黙的ベクトルのL1ノルム推定を効率的に行うことが可能になる。