[論文レビュー] Information Theoretic Limits of Cardinality Estimation: Fisher Meets Shannon

Seth Pettie, Dingyu Wang|arXiv (Cornell University)|Jul 16, 2020

Algorithms and Data Compression参考文献 39被引用数 4

ひとこと要約

本稿では、基数推定におけるスケッチの空間複雑性と推定誤差のトレードオフを定量化する新しい情報理論的指標、Fisher-Shannon（Fish）数を導入する。本稿では、最適なFish数が約1.98016であることを証明し、これはFishmongerスケッチによって漸近的に達成可能であり、すべての基数$q$の変種であるPCSAによっても達成可能である。一方、線形化可能でマージ可能なスケッチでは、この境界を上回ることはできないことを示している。

ABSTRACT

Estimating the cardinality (number of distinct elements) of a large multiset is a classic problem in streaming and sketching. In this paper we study the intrinsic tradeoff between the space complexity of the sketch and its estimation error. We define a new measure of efficiency for data sketches called the Fisher-Shannon (FiSh) number $\mathcal{H}/\mathcal{I}$. It captures the tension between the limiting Shannon entropy ($\mathcal{H}$) of the sketch and its normalized Fisher information ($\mathcal{I}$) that characterizes the variance of a statistically efficient, asymptotically unbiased estimator. Our aim in introducing the FiSh-number is to build the mathematical machinery necessary to argue for precise optimality, rather than asymptotic optimality, up to large constant factors. Our results are as follows. [1] We prove that all base-$q$ variants of Flajolet and Martin's PCSA sketch have FiSh-number $H_0/I_0 \approx 1.98016$ and that every base-$q$ variant of HyperLogLog has FiSh-number worse than $H_0/I_0$, but that they tend to $H_0/I_0$ in the limit as $q ightarrow \infty$. Here $H_0,I_0$ are precisely defined constants. [2] We describe a sketch called Fishmonger that is based on a smoothed, entropy-compressed variant of PCSA with a different estimator function. Fishmonger processes a multiset of $[U]$ such that at all times, w.h.p., its space is $(1+o(1))(H_0/I_0)m \approx 1.98m$ bits and its standard error is $1/\sqrt{m}$. For example, to achieve a 1% standard error, one needs a little more than 19,800 bits, or $\approx 2.42$ kilobytes. [3] Finally, we give circumstantial evidence that $H_0/I_0$ is the optimum FiSh-number of mergeable sketches for Cardinality Estimation. We define a natural subset of mergeable sketches called linearizable sketches and prove that no member of this class can beat $H_0/I_0$. The popular mergeable sketches are, in fact, also linearizable.

研究の動機と目的

• ランダムオракルモデルにおける基数推定の根本的な情報理論的限界を確立すること。
• スケッチのエントロピーとFisher情報のトレードオフを捉える新しい指標、Fisher-Shannon（Fish）数を定義・分析すること。
• 線形化可能でマージ可能なスケッチのすべてに対して、情報理論的下界としてのFish数$H_0/I_0 \approx 1.98016$が成立することを証明すること。
• 空間と標準誤差の$(1+o(1))$要因の範囲でこの境界に到達する新しいスケッチ、Fishmongerを設計すること。

提案手法

• Fisher-Shannon（Fish）数$\mathcal{H}/\mathcal{I}$を導入し、シャノンエントロピー（$\mathcal{H}$）と正規化されたFisher情報（$\mathcal{I}$）を組み合わせることで、スケッチの効率を測定する。
• Flajolet-MartinのPCSAおよび（ハイパーログ）ロジックスケッチの基数$q$の変種を分析し、それらのFish数が$H_0/I_0$未満であるが、$q \to \infty$の極限で$H_0/I_0$に収束することを示す。
• エントロピー圧縮と平滑化を施したPCSAに基づくFishmongerスケッチを提案し、修正された推定関数を用いることで近似的に最適な性能を達成する。
• 線形化可能性の仮定の下でデータ処理不等式を適用し、マージ可能なスケッチのFish数に対する下界を導出する。
• 漸近的解析と集中不等式を用いて、Fishmongerが空間複雑度$O(\log^2 \log U) + (1+o(1))(H_0/I_0)b$ビット、標準誤差$1/\sqrt{b}$の確率が高くなることを示す。
• Fish数$H_0/I_0 \approx 1.98016$がすべての線形化可能スケッチに対して最適であることを証明し、任意のこのようなスケッチが$\mathsf{Fish}(A_q) \geq H_0/I_0$を満たす必要があることを示す。

実験結果

リサーチクエスチョン

• RQ1 基数推定スケッチにおける空間-精度トレードオフの根本的な情報理論的限界は何か？
• RQ2 Fisher-Shannon数は、基数推定スケッチの効率を評価する普遍的指標として機能できるか？
• RQ3 Fish数$H_0/I_0 \approx 1.98016$は、すべての線形化可能でマージ可能なスケッチに対して達成可能な最適な境界か？
• RQ4 空間と標準誤差がともに低い条件下で、この最適なFish数に漸近的に到達する実用的なスケッチを構築できるか？

主な発見

• Flajolet-MartinのPCSAスケッチのすべての基数$q$の変種は、正確に$H_0/I_0 \approx 1.98016$のFish数を達成し、情報理論的に最適である。
• （ハイパーログ）ロジックスケッチのすべての基数$q$の変種は、$H_0/I_0$未満のFish数を持つが、$q \to \infty$の極限で$H_0/I_0$に収束する。
• Fishmongerスケッチは、空間複雑度$O(\log^2 \log U) + (1+o(1))(H_0/I_0)b$ビット、標準誤差$1/\sqrt{b}$を高確率で達成する。
• 定数$H_0/I_0 \approx 1.98016$は、すべての線形化可能スケッチに対して情報理論的下界であることが証明され、これより高い効率を達成できるようなスケッチは存在しない。
• Fish数$H_0/I_0$は、線形化可能でないスケッチに対しても最適であると予想されており、マージ可能な基数推定器の普遍的限界を示唆している。