[論文レビュー] Simple set cardinality estimation through random sampling

Marco Bressan, Enoch Peserico+1 more|arXiv (Cornell University)|Dec 24, 2015

Machine Learning and Algorithms参考文献 3被引用数 9

ひとこと要約

この論文は、一様なランダムサンプリングを用いて集合 $ V $ の基数 $ n $ を推定するシンプルなブラックボックスアルゴリズムを提示する。確率 $ 1-\delta $ で $ (1\pm\epsilon) $-近似を保証し、$ O\big{(}\sqrt{n}\cdot\epsilon^{-1}\sqrt{\log(\delta^{-1})}\big{)} $ のサンプルを必要とし、タイトなサンプル複雑性解析のためのマルティングゲール集中不等式を活用する。

ABSTRACT

We present a simple algorithm that estimates the cardinality $n$ of a set $V$ when allowed to sample elements of $V$ uniformly and independently at random. Our algorithm with probability $(1-δ)$ returns a $(1\pmε)-$approximation of $n$ drawing $O\big(\sqrt{n} \cdot ε^{-1}\sqrt{\log(δ^{-1})}\big)$ samples (for $ε^{-1}\sqrt{\log(δ^{-1})} = O(\sqrt{n})$).

研究の動機と目的

• 一様ランダムサンプリングのみを用いて、集合のサイズを推定する実用的で解析可能なアルゴリズムの設計。
• 高確率 $ 1-\delta $ で $ (1\pm\epsilon) $-近似を達成するための、タイトで非漸近的なサンプル数の境界の提供。
• 現代のマルティングゲール集中不等式を用いてサンプリングプロセスを解析し、サンプル複雑性の保証を導出すること。
• より大きなアルゴリズムにおいて基数推定を必要とする文脈で、即座に使えるプラグインプリミティブとしての利用を可能にすること。

提案手法

• アルゴリズムは、観測済みの要素の集合 $ S $ を維持し、サンプルの合計重み $ w $ と繰り返し回数 $ r $ を追跡する。
• $ \epsilon $ と $ \delta $ に基づき、$ k = \lceil \frac{2+4.4\epsilon}{\epsilon^2} \ln(3/\delta) \rceil $ の停止閾値を用いる。
• 累積的な繰り返し回数 $ r $ が $ k $ に達した段階でアルゴリズムは終了し、推定値として $ \hat{n} = w/r $ を出力する。
• 繰り返し回数の期待値からの逸脱を制限するために、マルティングゲール尾部不等式（[1]の定理2.2）を適用する。
• 分析には、$ \chi_j $ が繰り返しを示し、$ P_j $ がその条件付き確率であるとすると、$ Z_i = \sum_{j=1}^i (\chi_j - P_j) $ のマルティングゲールを用いる。
• 下位および上位の過剰推定事象の両方に対して集中不等式を適用し、各尾部の誤差確率が $ \delta/3 $ 未満であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 確率 $ 1-\delta $ で $ (1\pm\epsilon) $-要因以内に集合の基数を推定するための、一様ランダムサンプルの最小数は何か？
• RQ2 現代の集中不等式を用いて、基数推定のためのシンプルでブラックボックスなアルゴリズムを厳密に解析可能か？
• RQ3 サンプル複雑性は $ \epsilon $ と $ \delta $ に対してどのようにスケーリングされ、$ n $ に依存せずに境界を定められるか？
• RQ4 アルゴリズムが与えられたサンプル予算を超える確率は何か？ そして、その確率はどのように境界を定められるか？

主な発見

• アルゴリズムは、真の基数 $ n $ の $ (1\pm\epsilon) $-近似を確率 $ 1-\delta $ 以上で返す。
• 期待サンプル数は $ \min(n, 2\lceil \sqrt{kn} \rceil) + k $ で有界であり、ここで $ k = \lceil \frac{2+4.4\epsilon}{\epsilon^2} \ln(3/\delta) \rceil $ である。
• サンプル複雑性は $ O\big{(} \sqrt{n} \cdot \epsilon^{-1} \sqrt{\log(\delta^{-1})} \big{)} $ であり、$ \epsilon $ が小さい場合に $ n $ に対して非線形的である。
• 過剰または不足推定の誤差確率はそれぞれ $ \delta/3 $ 未満に抑えられ、合計の失敗確率は $ \delta $ 未満であることを保証する。
• 解析により、サンプル境界を超える確率が $ \delta/3 $ 未塔であることが示され、すべての失敗モードにおけるユニオンバウンドが完成する。