[論文レビュー] Approximating Large Frequency Moments with $O(n^{1-2/k})$ Bits

Vladimir Braverman, Jonathan Katzman+2 more|arXiv (Cornell University)|Jan 8, 2014

Algorithms and Data Compression参考文献 40被引用数 4

ひとこと要約

この論文は、定数 $k > 3$ に対して、$O(n^{1-2/k})$ ビットのメモリを用いて $F_k$ の近似を1パスで行うストリーミングアルゴリズムを提示している。これは、既知の下界を定数倍の要因まで一致させる。アプローチは、新しいヘビー要素検出アルゴリズムとマルティングル・スケッチを組み合わせることで、最適なメモリ使用量を達成するとともに、定数確率で $(1\pm\epsilon)$-近似を保証する。

ABSTRACT

In this paper we consider the problem of approximating frequency moments in the streaming model. Given a stream $D = \{p_1,p_2,\dots,p_m\}$ of numbers from $\{1,\dots, n\}$, a frequency of $i$ is defined as $f_i = |\{j: p_j = i\}|$. The $k$-th \emph{frequency moment} of $D$ is defined as $F_k = \sum_{i=1}^n f_i^k$. In this paper we give an upper bound on the space required to find a $k$-th frequency moment of $O(n^{1-2/k})$ bits that matches, up to a constant factor, the lower bound of Woodruff and Zhang (STOC 12) for constant $ε$ and constant $k$. Our algorithm makes a single pass over the stream and works for any constant $k > 3$.

研究の動機と目的

• ストリーミングモデルにおける $F_k$ の近似について、既知の下界と上界の差を埋めること。
• $(1\pm\epsilon)$-近似を達成する空間効率の良いアルゴリズムを設計すること。その際、$O(n^{1-2/k})$ ビットのメモリのみを用いること。
• 最適な空間複雑度を実現できるように、ストリーム内のヘビー要素を特定する新しいアルゴリズムを開発すること。
• マルティングル・スケッチフレームワークを拡張し、最適なメモリ使用量で1パス近似を可能にする。
• 複数パスに依存することなく、最適な空間と近似保証を維持すること。

提案手法

• 3パスと $O(\frac{1}{\rho^C} F_0^{1-2/k} \log \frac{1}{\delta})$ ビットを用いて $\rho$-ヘビー要素を特定する新しいヘビー要素検出アルゴリズム（AHE）を導入。ここで $C \leq 10$ である。
• 重い要素と他の要素が両方ともモーメントに顕著に寄与する場合でも、重い要素を特定できるように、再帰的サンプリングとハッシュ戦略を採用。
• ハッシュ関数を用いて定数個のサブストリームを確保することで、重い要素がその寄与が支配的になるサブストリームに含まれる確率を高め、高確率で検出可能にする。
• 幾何級数的な期待重みの系列を制御することで、エラーを制御しながらストリーム全体にわたる近似の系列を維持するため、マルティングル・スケッチを適用。
• 指数的に減少する誤差境界を用いることで、複数の近似のコストを低減し、合計メモリを増加させずに1パス実行を可能にする。
• 非ヘビー要素からのノイズを抑えるために、$\rho^2$-ヘビー候補の中から上位 $1/\rho$ 個の要素のみを選択するフィルタリングステップを実装。

実験結果

リサーチクエスチョン

• RQ1 定数 $k > 3$ に対して、$F_k$ の近似のための空間複雑度を $O(n^{1-2/k})$ ビットにまで低減できるか？ その際、$(1\pm\epsilon)$-近似を維持できるか？
• RQ2 この最適な空間バウンドを1パスアルゴリズムで達成できるか？
• RQ3 複数の要素が $F_k$ に顕著に寄与する場合、ストリーム内でヘビー要素を信頼性高く検出できるか？
• RQ4 マルティングル・スケッチフレームワークを、1パス、最適空間の周波数モーメント推定をサポートするように拡張できるか？
• RQ5 サブストリーム化とハッシュの導入によって生じる最小限のオーバーヘッドは何か？

主な発見

• 本論文は、1パスアルゴリズムを用いて $F_k$ の近似に $O(n^{1-2/k})$ ビットの上界を達成し、WoodruffとZhang [46] の下界を定数倍の要因まで一致させる。
• 定数 $\epsilon$ と $k \geq 7$ の場合、アルゴリズムは $O(n^{1-2/k})$ メモリビットを用い、確率 $2/3$ 以上で $(1\pm\epsilon)$-近似を出力する。
• AHEアルゴリズムは、$O(\frac{1}{\rho^C} F_0^{1-2/k} \log \frac{1}{\delta})$ ビット（$C \leq 10$）を用いて $\rho$-ヘビー要素を効率的に特定でき、モーメント推定を可能にする。
• 定数個のサブストリームと確率的ハッシュを用いることで、複数の要素が支配的になる場合でも、$O(n^{1-2/k})$ の空間バウンドを維持できる。
• 幾何級数的な誤差境界と繰り返しサンプリングを用いることで、複数パスの必要性を排除し、合計誤差が定数確率で $\epsilon F_k$ 以内に保たれる。
• 非ヘビー要素からの最終的な近似誤差は $\rho F_k$ に抑えられ、$\rho^2$-ヘビー要素の上位 $1/\rho$ 個の候補をフィルタリングすることで、これを無視できるほど小さくできる。