[논문 리뷰] Information Theoretic Limits of Cardinality Estimation: Fisher Meets Shannon

Seth Pettie, Dingyu Wang|arXiv (Cornell University)|2020. 07. 16.

Algorithms and Data Compression참고 문헌 39인용 수 4

한 줄 요약

이 논문은 기수법 기반의 카디널리티 추정에서 스케치 공간 복잡도와 추정 오차 사이의 트레이드오프를 측정하는 새로운 정보이론적 지표인 피셔-샤논(Fish) 수를 도입한다. 이는 최적의 피셔-샤논 수가 약 1.98016임을 증명하며, 이는 피셔먼저 스케치와 모든 기본 $q$-기반 PCSA 변형에 의해 점점 가까워지며, 선형화 가능하고 병합 가능한 스케치 중에서는 이를 초월할 수 없음을 보여준다.

ABSTRACT

Estimating the cardinality (number of distinct elements) of a large multiset is a classic problem in streaming and sketching. In this paper we study the intrinsic tradeoff between the space complexity of the sketch and its estimation error. We define a new measure of efficiency for data sketches called the Fisher-Shannon (FiSh) number $\mathcal{H}/\mathcal{I}$. It captures the tension between the limiting Shannon entropy ($\mathcal{H}$) of the sketch and its normalized Fisher information ($\mathcal{I}$) that characterizes the variance of a statistically efficient, asymptotically unbiased estimator. Our aim in introducing the FiSh-number is to build the mathematical machinery necessary to argue for precise optimality, rather than asymptotic optimality, up to large constant factors. Our results are as follows. [1] We prove that all base-$q$ variants of Flajolet and Martin's PCSA sketch have FiSh-number $H_0/I_0 \approx 1.98016$ and that every base-$q$ variant of HyperLogLog has FiSh-number worse than $H_0/I_0$, but that they tend to $H_0/I_0$ in the limit as $q ightarrow \infty$. Here $H_0,I_0$ are precisely defined constants. [2] We describe a sketch called Fishmonger that is based on a smoothed, entropy-compressed variant of PCSA with a different estimator function. Fishmonger processes a multiset of $[U]$ such that at all times, w.h.p., its space is $(1+o(1))(H_0/I_0)m \approx 1.98m$ bits and its standard error is $1/\sqrt{m}$. For example, to achieve a 1% standard error, one needs a little more than 19,800 bits, or $\approx 2.42$ kilobytes. [3] Finally, we give circumstantial evidence that $H_0/I_0$ is the optimum FiSh-number of mergeable sketches for Cardinality Estimation. We define a natural subset of mergeable sketches called linearizable sketches and prove that no member of this class can beat $H_0/I_0$. The popular mergeable sketches are, in fact, also linearizable.

연구 동기 및 목표

• 랜덤 오ракulum 모델에서 카디널리티 추정의 기본 정보이론적 한계를 설정하기 위해.
• 스케치 엔트로피와 피셔 정보 사이의 트레이드오프를 캡처하는 새로운 지표인 피셔-샤논(Fish) 수를 정의하고 분석하기 위해.
• 선형화 가능하고 병합 가능한 모든 스케치에 대해 정보이론적 하한선으로서 피셔-샤논 수 $H_0/I_0 \approx 1.98016$가 최적임을 증명하기 위해.
• 공간 복잡도와 표준 오차에서 이 하한선에 $(1+o(1))$ 요소로 수렴하는 새로운 스케치인 피셔먼저를 설계하기 위해.

제안 방법

• 샤논 엔트로피($\mathcal{H}$)와 정규화된 피셔 정보($\mathcal{Ia}$)를 조합한 피셔-샤논(Fish) 수 $\mathcal{H}/\mathcal{I}$를 도입하여 스케치의 효율성을 측정한다.
• 플라조레트-마르틴의 PCSA와 (초) 로그로그 스케치의 기본 $q$-기반 변형을 분석하여, 이들의 피셔-샤논 수가 $H_0/I_0$보다 열 劣하지만 $q \to \infty$로 갈수록 그에 수렴함을 보여준다.
• 엔트로피 압축 및 스무딩된 PCSA를 기반으로 하며, 성능을 근사적으로 최적화하기 위해 수정된 추정 함수를 사용하는 피셔먼저 스케치를 제안한다.
• 선형화 가능성 가정 하에 데이터 처리 부등식을 적용하여 병합 가능한 스케치에 대한 피셔-샤논 수의 하한선을 유도한다.
• 점점 가까워지는 분석과 농도 불등식을 사용하여 피셔먼저가 공간 복잡도 $O(\log^2 \log U) + (1+o(1))(H_0/I_0)b$ 비트와 표준 오차 $1/\sqrt{b}$를 고려하여 높은 확률로 달성함을 보여준다.
• 피셔-샤논 수 $H_0/I_0 \approx 1.98016$가 모든 선형화 가능한 스케치에 대해 최적임을 증명하기 위해, 임의의 그러한 스케치가 $\mathsf{Fish}(A_q) \geq H_0/I_0$를 만족해야 함을 보여준다.

실험 결과

연구 질문

• RQ1 카디널리티 추정 스케치에서 공간-정확도 트레이드오프의 기본 정보이론적 한계는 무엇인가?
• RQ2 피셔-샤논 수는 카디널리티 추정 스케치의 효율성을 평가하는 유니버설 지표로 기능할 수 있는가?
• RQ3 피셔-샤논 수 $H_0/I_0 \approx 1.98016$는 모든 선형화 가능하고 병합 가능한 스케치에 대해 달성 가능한 최적의 하한선인가?
• RQ4 실용적인 스케치를 설계하여 이 최적의 피셔-샤논 수에 점점 가까워지며 낮은 공간 복잡도와 표준 오차를 갖출 수 있는가?

주요 결과

• 플라조레트-마르틴의 PCSA 스케치의 모든 기본 $q$-기반 변형은 정확히 $H_0/I_0 \approx 1.98016$의 피셔-샤논 수를 달성하여, 정보이론적으로 최적임을 입증한다.
• 모든 기본 $q$-기반 (초) 로그로그 스케치의 피셔-샤논 수는 $H_0/I_0$보다 엄밀히 열 劣하지만 $q \to \infty$로 갈수록 그에 수렴한다.
• 피셔먼저 스케치는 공간 복잡도 $O(\log^2 \log U) + (1+o(1))(H_0/I_0)b$ 비트와 표준 오차 $1/\sqrt{b}$를 고려하여 높은 확률로 달성한다.
• 상수 $H_0/I_0 \approx 1.98016$는 모든 선형화 가능한 스케치에 대해 정보이론적 하한선으로 증명되었으며, 이는 어떠한 그러한 스케치도 이보다 더 높은 효율을 달성할 수 없음을 의미한다.
• 피셔-샤논 수 $H_0/I_0$는 선형화 가능한 스케치를 초월하여 최적임이 추측되며, 이는 병합 가능한 카디널리티 추정기의 보편적 한계를 시사한다.