[論文レビュー] A Very Efficient Scheme for Estimating Entropy of Data Streams Using Compressed Counting

Ping Li|ArXiv.org|Aug 13, 2008

Data Stream Mining Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、極度に偏った安定分布ランダムプロジェクションを用いて、データストリームにおけるエントロピーを推定するための高効率なアルゴリズムであるCompressed Counting (CC) を提案する。CC は対称的安定ランダムプロジェクションよりも著しく優れており、特に α→1 の場合に顕著に優位である。k=20 のサンプル数でのみ、相対誤差が1%未満に抑えられ、リアルタイムのネットワークおよびWebデータ分析に最適である。

ABSTRACT

Compressed Counting (CC)} was recently proposed for approximating the $α$th frequency moments of data streams, for $0

研究の動機と目的

• リアルワールドのデータストリームにおけるシャノンエントロピー、エントロピー、タスリスエントロピーの推定におけるCompressed Counting (CC) の実用性と精度を評価すること。
• α≈1 の場合に、従来の対称的安定ランダムプロジェクションが過剰なサンプル数を要するため失敗する、シャノンエントロピー推定における α 項の周波数モーメントの問題に取り組むこと。
• CC および対称的安定プロジェクションを用いたエントロピー推定におけるバイアス-分散トレードオフに関する理論的および実験的指針を提供すること。
• リアルタイム応用における高精度・低記憶量のエントロピー推定のための最適な設定（例：α≈0.98–0.99、最適な分位数推定器）を提案すること。

提案手法

• 0<α≤2 の α 項周波数モーメント F_(α) を推定するために、最大に偏った安定分布ランダムプロジェクションに基づくランダム化アルゴリズムであるCompressed Counting (CC) を使用する。
• Rényi エントロピー H_α = 1/(1−α) log(F_(α)/F_(1)^α) および Tsallis エントロピー T_α = 1/(α−1) (1−F_(α)/F_(1)^α) の推定に CC を適用し、両者とも α→1 のときにシャノンエントロピー H に収束することを確認する。
• CC 内部で最適な分位数推定器を採用し、推定における平均二乗誤差 (MSE) を最小化する。これは幾何平均および調和平均推定器を上回る性能を発揮する。
• 実際のWebクロールデータを用いて、さまざまなサンプルサイズ (k) および α 値における CC と対称的安定プロジェクションの性能を実験的に評価する。
• 緩いストレクト・ターンスタイルモデル下で、CC と対称的安定プロジェクションの推定精度および必要なサンプルサイズを比較する。
• 対称的安定プロジェクションの性能を向上させるために、α を 1 から離すことでバイアス-分散トレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 α→1 の場合に、Compressed Counting (CC) は対称的安定ランダムプロジェクションと比較して、周波数モーメント推定においてどのように異なるか？
• RQ2 CC を用いたシャノンエントロピー推定において、推定誤差を最小化する最適な設定（α、推定器タイプ、サンプルサイズ k）は何か？
• RQ3 CC は、実世界のデータストリームにおいて極めて小さなサンプルサイズ（例：k=20）でも高精度なエントロピー推定を達成できるか？
• RQ4 α=1+δ かつ |δ| が非常に小さい対称的安定ランダムプロジェクションを用いたシャノンエントロピー推定は実用的か？
• RQ5 CC を用いて推定される場合、Rényi エントロピーと Tsallis エントロピーは、シャノンエントロピーの近似としてどのように比較できるか？

主な発見

• k≤10^3 の範囲では、CC は対称的安定プロジェクションに比べ周波数モーメント推定の平均二乗誤差 (MSE) を20～50倍まで低減する。k=10^4 の場合でも5～15倍の低減が達成される。
• k=20 の場合、CC はシャノンエントロピー推定において1%未満の相対誤差を達成するが、対称的安定プロジェクションは同程度の精度に到達するためには少なくとも50倍のサンプル数を要する。
• Tsallis エントロピーからのシャノンエントロピー推定において、対称的安定プロジェクションは500倍のサンプル数を要しても、CC の精度に追いつかない。
• α<1 かつ k>20 の条件下で、CC の最適分位数推定器は、幾何平均および調和平均推定器を著しく上回り、特に α→1 の近傍で顕著な優位性を示す。
• CC を用いた場合、Rényi エントロピー経由でのシャノンエントロピー推定は Tsallis エントロピー経由よりも精度が高く、Rényi がより優れた近似経路である。
• α=1+δ かつ |δ| が非常に小さい対称的安定プロジェクションを用いたシャノンエントロピー推定は、膨大なサンプル数を要するため実用的ではなく、CC は最小限の記憶量で高精度を実現可能である。