[論文レビュー] Back to the Future: an Even More Nearly Optimal Cardinality Estimation Algorithm

Kevin Lang|arXiv (Cornell University)|Aug 22, 2017

Algorithms and Data Compression参考文献 15被引用数 9

ひとこと要約

本稿では、Flajolet-Martin-85 (FM85) スケッチに基づく新しい基数推定アルゴリズムを提案する。3つの新規推定器を用いることで、圧縮されたハイパーゲージ・ロジック（HLL）スケッチよりも優れた空間効率と精度を達成する。zstd 圧縮を活用し、FM85 と HLL のエントロピーを分析することで、圧縮された FM85 スケッチが HLL のエントロピーを下回ることを示し、時間／空間／精度のトレードオフの3次元において、HLL よりも優れた性能を同時に達成する。

ABSTRACT

We describe a new cardinality estimation algorithm that is extremely space-efficient. It applies one of three novel estimators to the compressed state of the Flajolet-Martin-85 coupon collection process. In an apples-to-apples empirical comparison against compressed HyperLogLog sketches, the new algorithm simultaneously wins on all three dimensions of the time/space/accuracy tradeoff. Our prototype uses the zstd compression library, and produces sketches that are smaller than the entropy of HLL, so no possible implementation of compressed HLL can match its space efficiency. The paper's technical contributions include analyses and simulations of the three new estimators, accurate values for the entropies of FM85 and HLL, and a non-trivial method for estimating a double asymptotic limit via simulation.

研究の動機と目的

• 既存のハイパーゲージ・ロジック（HLL）実装よりも、より空間効率的かつ高精度な基数推定アルゴリズムの開発。
• FM85 スケッチに新規推定器と圧縮を組み合わせることで、時間、空間、精度の3次元すべてにおいて HLL を上回ることの証明。
• FM85 と HLL スケッチの漸近的エントロピーを正確に計算し、空間効率の公平な比較を可能にする。
• FM85 に対する精度を向上させる3つの新規推定器の導入と検証。
• 基数推定におけるエラー定数を定義する二重漸近極限を推定する非自明なシミュレーション手法の開発。

提案手法

• アルゴリズムは、k 行にわたり各々の左端の未収集コイン（coupon）を追跡する、圧縮された FM85 スケッチの状態に、3つの新規推定器（ICON、MDL、歴史的逆確率）を適用する。
• FM85 スケッチは、zstd ライブラリを用い、圧縮レベル 1 で圧縮することで、HLL の理論的限界を超える空間効率を実現する。
• エントロピーは、各コインの累積的収集確率に基づく確率を用いた算術符号化により計算される。確率は、試行回数 n に基づく。
• エラー定数は、k→∞ かつ n→∞ のときの RMS 誤差 / n の二重漸近極限を近似する非自明なシミュレーション手法により推定される。
• 同一の k 値（FM85 では k=2^15、HLL では k=2^16）を用いて、圧縮された FM85 と圧縮された HLL の間で、同等の精度比較を実施する。
• HLL スケッチは直接 zstd で圧縮されるが、FM85 スケッチは同じ圧縮パイプラインを経由するため、圧縮サイズと性能の直接比較が可能となる。

実験結果

リサーチクエスチョン

• RQ1 新規推定器を用いた FM85 スケッチは、HLL スケッチよりも、1ビットあたりのエントロピーに対する精度が優れているか？
• RQ2 FM85 スケッチを、HLL スケッチのエントロピーを下回るサイズに圧縮可能か？ これにより、空間効率が向上するか？
• RQ3 FM85 に新規導入された推定器は、元の FM85 推定器および既存の HLL 推定器と比較して、顕著に精度を向上させるか？
• RQ4 シミュレーションベースの手法は、基数推定におけるエラー定数を定義する二重漸近極限を正確に推定できるか？
• RQ5 FM85 に高度な推定器と zstd 圧縮を組み合わせたシステムは、時間、空間、精度の3次元すべてにおいて、HLL を上回るか？

主な発見

• FM85 スケッチのエントロピーは約 4.70×k ビットであるのに対し、HLL スケッチは 2.83×k ビットであり、HLL が本質的により圧縮しやすいことが示された。
• 新規の ICON 推定器のエラー定数は 0.693 であり、HLL を上回る精度を達成するための閾値 0.807 よりも低い。このため、ICON は HLL よりも優れた性能を示す。
• 圧縮された FM85 スケッチは、HLL のエントロピーを下回るサイズに圧縮可能であり、これは、既知の推定器を用いたいかなる HLL 実装でも、FM85 の空間効率を凌駕できないことを意味する。
• 実験的ベンチマークでは、ICON 推定器を用いた FM85 は、HLL の標準推定器よりも高精度であり、MDL 推定器を用いた FM85 は、HLL の MDL 推定器を上回った。
• FM85 は、zstd に送信するバイト数が2倍であるにもかかわらず、スケッチ状態の圧縮性が高いため、HLL よりも高速である。
• プロトタイプは10億件のアイテムを4.3秒で処理でき、生産環境での実用性を示した。