[論文レビュー] Sampling to estimate arbitrary subset sums

Nick Duffield, Carsten Lund+1 more|ArXiv.org|Sep 9, 2005

Data Management and Algorithms参考文献 13被引用数 9

ひとこと要約

この論文は、重みに敏感で、入れ替えなしのサンプリング手法としてのプライオリティサンプリングを導入する。これは、1つのサンプルから任意のサブセット和の不偏推定を可能にする。各アイテムに $ q_i = w_i / \alpha_i $（$ \alpha_i \sim \text{Uniform}(0,1) $）というプライオリティを割り当て、上位 $ k $ 個のプライオリティを持つアイテムを選択し、各アイテムに重み推定値 $ \widehat{w}_i = \max\{w_i, \tau\} $（$ \tau $ は $ (k+1)^{\text{th}} $ 番目のプライオリティ）を割り当てることで、推定値間の共分散がゼロで不偏推定量が保証され、重築された裾の長い分布（例：インターネットトラフィック解析）において、先行手法を大きく上回る性能を発揮する。

ABSTRACT

Starting with a set of weighted items, we want to create a generic sample of a certain size that we can later use to estimate the total weight of arbitrary subsets. For this purpose, we propose priority sampling which tested on Internet data performed better than previous methods by orders of magnitude. Priority sampling is simple to define and implement: we consider a steam of items i=0,...,n-1 with weights w_i. For each item i, we generate a random number r_i in (0,1) and create a priority q_i=w_i/r_i. The sample S consists of the k highest priority items. Let t be the (k+1)th highest priority. Each sampled item i in S gets a weight estimate W_i=max{w_i,t}, while non-sampled items get weight estimate W_i=0. Magically, it turns out that the weight estimates are unbiased, that is, E[W_i]=w_i, and by linearity of expectation, we get unbiased estimators over any subset sum simply by adding the sampled weight estimates from the subset. Also, we can estimate the variance of the estimates, and surpricingly, there is no co-variance between different weight estimates W_i and W_j. We conjecture an extremely strong near-optimality; namely that for any weight sequence, there exists no specialized scheme for sampling k items with unbiased estimators that gets smaller total variance than priority sampling with k+1 items. Very recently Mario Szegedy has settled this conjecture.

研究の動機と目的

• ネットワークトラフィックに見られるような重築された裾の長い分布においても、重み付きアイテムの1つのサンプルから任意のサブセット和を推定するという課題に対処すること。
• 高重量のアイテムを優遇する重みに敏感なサンプリングと、重複した高重量アイテムの選択を避ける入れ替えなしのサンプリングを両立するサンプリング方式の設計。
• サブセットの識別子がサンプリング時において未知であっても、重み推定値が不偏で、かつ低い分散を持つことを保証すること。
• リアルタイム応用（例：インターネットトラフィック監視）に適した実用的で効率的なアルゴリズムの開発。

提案手法

• 各アイテム $ i $ にランダムなプライオリティ $ q_i = w_i / \alpha_i $（$ \alpha_i \sim \text{Uniform}(0,1) $）を割り当て、重いアイテムほど高いプライオリティが得られるようにする。
• 上位 $ k $ 個のプライオリティを持つアイテムを選択してサンプル $ S $ を形成し、$ \tau $ を $ (k+1)^{\text{th}} $ 番目の高いプライオリティとする。
• サンプル内に含まれる各アイテム $ i \in S $ に推定重み $ \widehat{w}_i = \max\{w_i, \tau\} $ を割り当て、非サンプルのアイテムには $ \widehat{w}_i = 0 $ を割り当てる。
• 期待値の線形性を活用して、サブセットに含まれるサンプルアイテムの推定重みを合計することで、任意のサブセット和を推定する。
• プライオリティキューまたはバッファベースのリザーバーサンプリングの変種を用いて、それぞれ $ O(\log k) $ または $ O(1) $ の時間でサンプルを維持する。
• ストリーミング環境における動的サンプリング閾値の調整のため、高重量アイテムの閾値とセットを保存・維持する。

実験結果

リサーチクエスチョン

• RQ1 サブセットがサンプリング時において未知であっても、不偏な任意のサブセット和推定を可能にする重みに敏感で、入れ替えなしのサンプリング方式を設計できるか？
• RQ2 このような方式は、同様のサブセット和推定タスクに対して、専用に設計された代替手法と比較して近似的に最適な分散を達成するか？
• RQ3 低コストのアイテムあたり計算量で、ストリーミング環境に効率的に実装可能か？
• RQ4 理論的分析が示唆するように、異なるアイテムの重み推定値間の共分散がゼロであるか？
• RQ5 リアルタイムトラフィック監視に適した動的または閾値ベースのサンプリングに、この方式を適応可能か？

主な発見

• 重み推定値 $ \widehat{w}_i $ は正確に不偏である：$ \mathbb{E}[\widehat{w}_i] = w_i $ であり、期待値の線形性により正確なサブセット和推定が可能である。
• 異なるアイテムの推定重み $ \widehat{w}_i $ と $ \widehat{w}_j $ 間の共分散はゼロであり、これは驚くべき強力な性質であり、推定の安定性を高める。
• プライオリティサンプリングは近似的に最適な分散を達成する：$ k $ 個のアイテムをサンプリングする不偏推定量を備えた、特別に設計された手法よりも、$ k+1 $ 個のアイテムを用いたプライオリティサンプリングの方が、合計分散が低く抑えられる。
• 実世界のインターネットトラフィック解析において、重築された裾の長い重み分布下で、先行手法を桁違いに上回る性能を発揮する。
• 効率的なストリーミングバージョンが存在する：バッファベースの緩和により、アイテムあたり $ O(1) $ 時間で実現可能であり、リアルタイム展開に適している。
• 理論的近似的最適性の予想は、後に Szegedy によって証明され、この手法の根本的な効率性が裏付けられた。