[論文レビュー] Space-Optimal Profile Estimation in Data Streams with Applications to Symmetric Functions

Justin Y. Chen, Piotr Indyk+1 more|arXiv (Cornell University)|Nov 29, 2023

Machine Learning and Algorithms被引用数 2

ひとこと要約

本稿では、データストリームのプロファイルを推定するための空間最適なストリーミングアルゴリズムを提示している—具体的には、複数の周波数に対して同時に、ちょうど i 回出現する要素の数を推定する。空間計算量は最適である：最初の τ 要素における L1 誤差 ≤ ǫD の場合、O(1/ǫ² + log n) ビットであり、すべての周波数における合計 L1 誤差 ≤ ǫm の場合、O(1/ǫ² log(1/ǫ) + log n + log log m) ビットである。両者とも、最適性を示す一致する下界が与えられている。

ABSTRACT

We revisit the problem of estimating the profile (also known as the rarity) in the data stream model. Given a sequence of $m$ elements from a universe of size $n$, its profile is a vector $ϕ$ whose $i$-th entry $ϕ_i$ represents the number of distinct elements that appear in the stream exactly $i$ times. A classic paper by Datar and Muthukrishan from 2002 gave an algorithm which estimates any entry $ϕ_i$ up to an additive error of $\pm εD$ using $O(1/ε^2 (\log n + \log m))$ bits of space, where $D$ is the number of distinct elements in the stream. In this paper, we considerably improve on this result by designing an algorithm which simultaneously estimates many coordinates of the profile vector $ϕ$ up to small overall error. We give an algorithm which, with constant probability, produces an estimated profile $\hatϕ$ with the following guarantees in terms of space and estimation error: - For any constant $τ$, with $O(1 / ε^2 + \log n)$ bits of space, $\sum_{i=1}^τ|ϕ_i - \hatϕ_i| \leq εD$. - With $O(1/ ε^2\log (1/ε) + \log n + \log \log m)$ bits of space, $\sum_{i=1}^m |ϕ_i - \hatϕ_i| \leq εm$. In addition to bounding the error across multiple coordinates, our space bounds separate the terms that depend on $1/ε$ and those that depend on $n$ and $m$. We prove matching lower bounds on space in both regimes. Application of our profile estimation algorithm gives estimates within error $\pm εD$ of several symmetric functions of frequencies in $O(1/ε^2 + \log n)$ bits. This generalizes space-optimal algorithms for the distinct elements problems to other problems including estimating the Huber and Tukey losses as well as frequency cap statistics.

研究の動機と目的

• 複数の座標にわたる L1 誤差を小さく保ちながら、最小限の空間でプロファイル ベクトル φ（周波数の周波数）を推定するストリーミングアルゴリズムを設計すること。
• プロファイル推定を活用することで、異なる要素数、ハーバー損失、周波数上限などの空間最適な対称関数の推定を一般化すること。
• 1/ǫ、n、m における空間依存性を分離することで、よりタイトでモジュラーな空間境界を可能にすること。
• 両誤差領域に対して一致する下界を証明し、提案されたアルゴリズムの最適性を確立すること。
• ランダム性とハッシュ関数の保存コストを考慮することで、従来の研究を改善し、特に対称関数推定における空間計算量を低減すること。

提案手法

• 空間下界を確立するために、インデックス問題（IND）への確率的還元を用い、プロファイル推定を介してハミング距離推定をシミュレートする。
• 幾何的周波数スケール（バケツ）にわたるレイヤードサンプリング戦略を採用し、異なる周波数範囲における φi を効率的に推定する。
• 共有ランダムネスを用いて、IND 問題をプロファイル推定にマッピングするパubリックコイン確率的還元を適用する。通信複雑性をシミュレートする。
• 2つの文字列間のハミング距離に対応する要素の頻度を持つストリームを構築し、φ1 が ∆(w,z) を推定可能にする。
• 周波数バケツ Bj = [2^{j-1}+1, 2^j] を用いたマルチスケールアプローチを採用し、一定割合のバケツに対して、各座標の推定誤差が有界であることを保証する。
• 集中不等式と誤差伝播解析を用いて、すべての座標における L1 誤差を制限し、全体の誤差が ≤ ǫD または ≤ ǫm となるように保証する。

実験結果

リサーチクエスチョン

• RQ1 複数の座標を同時に推定する場合、各座標を個別に推定するよりも少ない空間で、合計 L1 誤差を小さく保てるか？
• RQ2 最初の τ 要素における L1 誤差 ≤ ǫD の場合、プロファイル ベクトル φ の推定における最適な空間計算量は何か？
• RQ3 全プロファイル ベクトル φ の推定において、L1 誤差 ≤ ǫm の場合、最適な空間計算量は何か？
• RQ4 プロファイル推定アルゴリズムにおいて、1/ǫ、n、m における空間依存性を分離できるか？
• RQ5 提案された空間境界はタイトであり、両誤差領域に対して一致する下界を証明できるか？

主な発見

• 最初の τ 要素における L1 誤差 ≤ ǫD の場合、アルゴリズムは確率一定で O(1/ǫ² + log n) ビットの空間計算量を達成する。
• 全プロファイル推定における合計 L1 誤差 ≤ ǫm の場合、アルゴリズムは O(1/ǫ² log(1/ǫ) + log n + log log m) ビットの空間計算量を用い、下界と一致する。
• φ1 を加法的誤差 ǫD で推定するための Ω(1/ǫ²) の空間下界が証明され、最適性が確立された。
• ランダムネスとハッシュ関数の保存コストを考慮することで、従来の研究を改善し、対称関数推定におけるよりタイトな境界が得られた。
• ハミング距離推定のための空間最適な推定が、O(1/ǫ² + log n) ビットのみで可能となり、ハーバー損失、トゥーキー損失、周波数上限などの対称関数の推定が実現された。
• 解析により、少なくとも 9/10 の周波数バケツにおいて、1 バケツあたりの L1 誤差が O(γ/ǫ) 以下に抑えられ、高確率で個々の φi の値が正確に推定可能であることが示された。