[论文解读] Information Theoretic Limits of Cardinality Estimation: Fisher Meets Shannon

Seth Pettie, Dingyu Wang|arXiv (Cornell University)|Jul 16, 2020

Algorithms and Data Compression参考文献 39被引用 4

一句话总结

本文引入了费雪-夏农（Fish）数，这是一种新的信息论度量，用于量化基数估计中概要空间复杂度与估计误差之间的权衡。论文证明，最优的费雪-夏农数约为 1.98016，该值由费雪蒙格（Fishmonger）概要渐近实现，并被所有基于 $ q $ 的 PCSA 变体所匹配，同时表明任何可线性化、可合并的概要都无法超越此界限。

ABSTRACT

Estimating the cardinality (number of distinct elements) of a large multiset is a classic problem in streaming and sketching. In this paper we study the intrinsic tradeoff between the space complexity of the sketch and its estimation error. We define a new measure of efficiency for data sketches called the Fisher-Shannon (FiSh) number $\mathcal{H}/\mathcal{I}$. It captures the tension between the limiting Shannon entropy ($\mathcal{H}$) of the sketch and its normalized Fisher information ($\mathcal{I}$) that characterizes the variance of a statistically efficient, asymptotically unbiased estimator. Our aim in introducing the FiSh-number is to build the mathematical machinery necessary to argue for precise optimality, rather than asymptotic optimality, up to large constant factors. Our results are as follows. [1] We prove that all base-$q$ variants of Flajolet and Martin's PCSA sketch have FiSh-number $H_0/I_0 \approx 1.98016$ and that every base-$q$ variant of HyperLogLog has FiSh-number worse than $H_0/I_0$, but that they tend to $H_0/I_0$ in the limit as $q ightarrow \infty$. Here $H_0,I_0$ are precisely defined constants. [2] We describe a sketch called Fishmonger that is based on a smoothed, entropy-compressed variant of PCSA with a different estimator function. Fishmonger processes a multiset of $[U]$ such that at all times, w.h.p., its space is $(1+o(1))(H_0/I_0)m \approx 1.98m$ bits and its standard error is $1/\sqrt{m}$. For example, to achieve a 1% standard error, one needs a little more than 19,800 bits, or $\approx 2.42$ kilobytes. [3] Finally, we give circumstantial evidence that $H_0/I_0$ is the optimum FiSh-number of mergeable sketches for Cardinality Estimation. We define a natural subset of mergeable sketches called linearizable sketches and prove that no member of this class can beat $H_0/I_0$. The popular mergeable sketches are, in fact, also linearizable.

研究动机与目标

• 在随机预言模型中建立基数估计的根本信息论极限。
• 定义并分析一种新度量——费雪-夏南（Fish）数，用于捕捉概要熵与费雪信息之间的权衡。
• 证明费雪-夏南数 $ H_0/I_0 \approx 1.98016 $ 是所有可线性化、可合并概要的信息论下限。
• 设计一种新概要——费雪蒙格（Fishmonger），其在空间和标准误差上以 $ (1+o(1)) $ 因子逼近该界限。

提出的方法

• 引入费雪-夏南（Fish）数 $ \mathcal{H}/\mathcal{I} $，结合香农熵（$ \mathcal{H} $）与归一化费雪信息（$ \mathcal{I} $），以衡量概要效率。
• 分析 Flajolet-Martin 的 PCSA 的基于 $ q $ 的变体以及（超）对数对数概要，表明其费雪-夏南数劣于 $ H_0/I_0 $，但随着 $ q \to \infty $ 而收敛至该值。
• 提出费雪蒙格概要，基于熵压缩、平滑化的 PCSA，并采用改进的估计函数以实现接近最优的性能。
• 在可线性化假设下，应用数据处理不等式推导出可合并概要的费雪-夏南数下限。
• 利用渐近分析与集中不等式，证明费雪蒙格在高概率下实现空间复杂度 $ O(\log^2 \log U) + (1+o(1))(H_0/I_0)b $ 位，标准误差为 $ 1/\sqrt{b} $。
• 通过证明任何此类概要必须满足 $ \mathsf{Fish}(A_q) \geq H_0/I_0 $，证明费雪-夏南数 $ H_0/I_0 \approx 1.98016 $ 是所有可线性化概要的最优值。

实验结果

研究问题

• RQ1 基数估计概要中空间-精度权衡的根本信息论极限是什么？
• RQ2 费雪-夏南数能否作为评估基数估计概要效率的通用度量？
• RQ3 费雪-夏南数 $ H_0/I_0 \approx 1.98016 $ 是否为所有可线性化、可合并概要的最优可实现界限？
• RQ4 能否构造一种实际可用的概要，使其渐近逼近该最优费雪-夏南数，同时保持低空间与标准误差？

主要发现

• 所有基于 $ q $ 的 Flajolet-Martin 的 PCSA 概要变体的费雪-夏南数恰好为 $ H_0/I_0 \approx 1.98016 $，使其在信息论上达到最优。
• 所有基于 $ q $ 的（超）对数对数概要的费雪-夏南数严格劣于 $ H_0/I_0 $，但随着 $ q \to \infty $ 而收敛至该值。
• 费雪蒙格概要以高概率实现空间复杂度 $ O(\log^2 \log U) + (1+o(1))(H_0/I_0)b $ 位与标准误差 $ 1/\sqrt{b} $。
• 常数 $ H_0/I_0 \approx 1.98016 $ 被证明是所有可线性化概要的信息论下限，意味着任何此类概要都无法实现更高效率。
• 费雪-夏南数 $ H_0/I_0 $ 被推测在可线性化概要之外也具有最优性，暗示其为可合并基数估计器的普遍极限。