[論文レビュー] New Cardinality Estimation Methods for HyperLogLog Sketches

Otmar Ertl|arXiv (Cornell University)|Jun 20, 2017

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 7

ひとこと要約

本稿では、全カーディナリティ範囲にわたりバイアスのないHyperLogLog (HLL)スケッチのための2つの新しい基数推定法を提案する。最初の手法は理論的に導出された補正を用いて元のHLL推定器を改善するが、2番目の手法は2つのHLLスケッチを同時にモデル化する最尤(ML)推定を適用し、包含除外原理に比べて、和集合や積集合などの集合演算の精度を顕著に向上させる。

ABSTRACT

This work presents new cardinality estimation methods for data sets recorded by HyperLogLog sketches. A simple derivation of the original estimator was found, that also gives insight how to correct its deficiencies. The result is an improved estimator that is unbiased over the full cardinality range, is easy computable, and does not rely on empirically determined data as previous approaches. Based on the maximum likelihood principle a second unbiased estimation method is presented which can also be extended to estimate cardinalities of union, intersection, or relative complements of two sets that are both represented as HyperLogLog sketches. Experimental results show that this approach is more precise than the conventional technique using the inclusion-exclusion principle.

研究の動機と目的

• 全カーディナリティ範囲にわたり、元のHyperLogLog推定器のバイアスおよび精度の制限を解消すること。
• 経験的に調整されたパラメータや断片的な推定器に依存しない手法を開発すること。
• 和集合、積集合、相対補集合などの集合演算にまでHLL基数推定を拡張し、精度を向上させること。
• 既存の経験的にキャリブレーションされたHLL推定器の代替として、理論的根拠に基づくバイアスのない代替手法を提供すること。
• MLベースのジャカード距離推定を用いた局所性に敏感なハッシュ（LSH）へのHLLスケッチの可能性を検討すること。

提案手法

• HLLレジスタ値の下位分布に基づく単純な理論的導出を用いて、元のHLL推定器の補正版を導出する。
• 2つのHLLスケッチの同時尤度関数に最尤(ML)の原則を適用し、集合演算の基数を推定する。
• HLLレジスタの十分統計量（レジスタ値）を用いて、ML推定の尤度関数を構築する。
• Broyden-Fletcher-Goldfarb-Shanno (BFGS)アルゴリズムを用いて、同時推定の尤度関数を数値的に最大化する。
• ポアソン近似の下で確率的モデルを簡略化し、レジスタ値の等価確率に関する解析的洞察と境界を導出する。
• MLベースの積集合および和集合推定を用いて、HLLスケッチで表される集合間のジャカード距離を推定する手法を提案する。

実験結果

リサーチクエスチョン

• RQ1 経験的データに依存せずに、理論的に導出された補正が元のHLL推定器を改善できるか？
• RQ2 2つのHLLスケッチに最尤推定を効果的に適用することで、積集合および和集合の基数推定精度を向上させられるか？
• RQ3 MLベースの同時推定法は、集合演算において従来の包含除外原理と比較して、どの程度精度が向上するか？
• RQ4 HLLスケッチを局所性に敏感なハッシュ（LSH）の基盤として使用できるか。その理論的根拠は何か？
• RQ5 ポアソン近似下で、HLLスケッチにおけるレジスタ値の等価性とジャカード距離の関係は何か？

主な発見

• 提案された補正推定器は、全カーディナリティ範囲にわたりバイアスがなく、経験的に調整されたパラメータを必要としない。
• 2つのHLLスケッチに対するMLベースの手法は、包含除外原理に比べて、積集合・和集合・相対補集合の推定誤差を顕著に低減する。
• ML推定器は、特に出力基数が入力サイズに対して小さい場合に、従来手法よりも高い精度を達成する。
• 理論的分析により、2つのHLLスケッチにおけるレジスタ値の等価確率がジャカード距離に依存することが示され、HLLが局所性に敏感なハッシュの可能性を裏付ける。
• 対数積分を用いたレジスタ値等価確率の近似は、タイトな境界を提供し、ML手法の理論的基盤を検証する。
• ML手法により、HLLスケッチからの積集合および和集合サイズの高精度な推定を統合することで、より正確なジャカード距離推定が可能になる。