[論文レビュー] Stream Sampling for Frequency Cap Statistics

Edith Cohen|arXiv (Cornell University)|Feb 20, 2015

Advanced Database Systems and Queries参考文献 23被引用数 4

ひとこと要約

本稿では、1回または2回のパスで、所望のサンプルサイズに比例するメモリで、集計されていないデータストリーム上の頻度カップ統計（例えば、ユニーク数や合計）を推定するためのストリームサンプリングフレームワークを提案する。ℓ-キャップドサンプルを導入し、単調な頻度統計に対してほぼ最適で不偏な推定を提供することで、古典的なユニーク数と合計の推定手法を統合するとともに、タイトな誤差バウンドを備えたマルチオブジェクティブサンプリングを可能にする。

ABSTRACT

Unaggregated data, in streamed or distributed form, is prevalent and come from diverse application domains which include interactions of users with web services and IP traffic. Data elements have {\em keys} (cookies, users, queries) and elements with different keys interleave. Analytics on such data typically utilizes statistics stated in terms of the frequencies of keys. The two most common statistics are {\em distinct}, which is the number of active keys in a specified segment, and {\em sum}, which is the sum of the frequencies of keys in the segment. Both are special cases of {\em cap} statistics, defined as the sum of frequencies {\em capped} by a parameter $T$, which are popular in online advertising platforms. Aggregation by key, however, is costly, requiring state proportional to the number of distinct keys, and therefore we are interested in estimating these statistics or more generally, sampling the data, without aggregation. We present a sampling framework for unaggregated data that uses a single pass (for streams) or two passes (for distributed data) and state proportional to the desired sample size. Our design provides the first effective solution for general frequency cap statistics. Our $\ell$-capped samples provide estimates with tight statistical guarantees for cap statistics with $T=Θ(\ell)$ and nonnegative unbiased estimates of {\em any} monotone non-decreasing frequency statistics. An added benefit of our unified design is facilitating {\em multi-objective samples}, which provide estimates with statistical guarantees for a specified set of different statistics, using a single, smaller sample.

研究の動機と目的

• 集計されていない高カーディナリティのデータストリームに対して、限られたメモリで頻度カップ統計を効率的に推定する課題に対処すること。
• 完全なキー周波数の集計を必要とせずに、ゴールスタンダードの重み付きサンプルに近い推定を実現するサンプリング手法を設計すること。
• 既存のユニーク数と合計クエリの解決策を、一貫したフレームワークで統合すること。
• 1つのコンactなサンプルで複数の統計を同時にタイトに推定できるマルチオブジェクティブサンプリングを可能にすること。
• 特にオンライン広告で一般的なミドルレンジのカップパrameterに対して、推定誤差を最小限に抑えつつ、メモリ効率を維持すること。

提案手法

• フレームワークはℓ-キャップドサンプルを用い、各キーがf(w)に比例する確率で選択される。ここでfは、cap_T(w) = min(w, T)などの非減少関数である。
• 1パス（ストリーミング）または2パス（分散処理）で処理され、保持する状態サイズは所望のサンプルサイズkに比例する。
• 復元あり・復元なしの両方のサンプリングをサポートし、頻度カップ統計の不偏推定を可能にする。
• 周波数分布に適応する新しいサンプリング確率割り当てを活用し、ミドルレンジのカップに対してほぼ最適な分散を実現する。
• 1つのサンプルで複数のターゲット統計のサンプリング確率を同時に最適化することで、マルチオブジェクティブサンプリングを実現する。
• 集計済みデータ上の理想の重み付きサンプルと類似した誤差バウンドを、変動係数（CV）の理論的バウンドとして提供する。

実験結果

リサーチクエスチョン

• RQ1 完全な集計を伴わずに、集計されていないデータストリーム上で頻度カップ統計を正確に推定できるか？
• RQ2 一貫した効率的メカニズムで、ユニーク数と合計推定を統合するサンプリングフレームワークをどのように設計できるか？
• RQ3 集計なしに計算されたサンプルの、集計済みデータ上の最適な重み付きサンプルに対する相対的な達成可能な正確さは何か？
• RQ4 異なるカップパrameter T と周波数分布において、このフレームワークの性能はどの程度か？
• RQ5 1つのサンプルが同時に複数の統計をタイトに推定できるか？

主な発見

• ℓ-キャップドサンプリングフレームワークは、頻度カップ統計の推定誤差をほぼ最適に達成し、集計済みデータ上のゴールスタンダードサンプルと類似したCVバウンドを実現する。
• ミドルレンジのカップ（T = Θ(ℓ)）に対して、理論的最適に近い推定が得られ、単一目的のサンプルよりも顕著に優れる。
• ユニーク数（T=1）をℓ=1で推定する際の誤差は最適値の3倍以内であり、合計（T=∞）をℓ=∞で推定する際の誤差は最悪ケースで30倍以内である。
• 分散環境における2回目のパスの利点は限定的であり、通常は誤差の10％未満の改善にとどまる。これは、ストリーミングバージョンの強靭性を裏付ける。
• シミュレーションでは、高カップ値における実際の誤差が理論的CV上界よりもはるかに低いことが多く、適応的信頼区間の可能性を示唆する。
• 1つのサンプルで複数の統計にわたるタイトな推定が可能となり、複数の大きなサンプルを必要としなくなる。