[논문 리뷰] Back to the Future: an Even More Nearly Optimal Cardinality Estimation Algorithm

Kevin Lang|arXiv (Cornell University)|2017. 08. 22.

Algorithms and Data Compression참고 문헌 15인용 수 9

한 줄 요약

이 논문은 압축된 하이퍼로그로그(HLL) 스키치보다 공간 효율성과 정확도에서 뛰어난 성능을 보이는, 플라조레트-마르틴-85(FM85) 스키치 기반의 새로운 기수 추정 알고리즘을 소개한다. zstd 압축과 FM85 및 HLL의 엔트로피 분석을 통해 압축된 FM85 스키치가 HLL의 엔트로피보다 작다는 것을 입증함으로써, 시간/공간/정확도의 트레이드오��� 세 가지 차원에서 HLL를 뛰어넘는 공간 효율성과 정확도, 속도를 동시에 확보하였다.

ABSTRACT

We describe a new cardinality estimation algorithm that is extremely space-efficient. It applies one of three novel estimators to the compressed state of the Flajolet-Martin-85 coupon collection process. In an apples-to-apples empirical comparison against compressed HyperLogLog sketches, the new algorithm simultaneously wins on all three dimensions of the time/space/accuracy tradeoff. Our prototype uses the zstd compression library, and produces sketches that are smaller than the entropy of HLL, so no possible implementation of compressed HLL can match its space efficiency. The paper's technical contributions include analyses and simulations of the three new estimators, accurate values for the entropies of FM85 and HLL, and a non-trivial method for estimating a double asymptotic limit via simulation.

연구 동기 및 목표

• 기존 하이퍼로그로그(HLL) 구현보다 더 공간 효율적이고 정확도가 높은 기수 추정 알고리즘을 개발하는 것.
• FM85 스키치에 새로운 추정기와 압축을 조합할 경우, 시간, 공간, 정확도의 세 가지 차원에서 HLL를 모두 능가할 수 있음을 입증하는 것.
• FM85 및 HLL 스키치의 점근적 엔트로피를 정확히 계산하여 공간 효율성의 공정한 비교를 가능하게 하는 것.
• 기존 FM85 추정기보다 정확도를 향상시키는 세 가지 새로운 FM85 추정기 도입 및 검증.
• 기수 추정에서 오차 상수를 정의하는 이중 점근적 극한을 추정하기 위한 비트라이벌 시뮬레이션 방법 개발.

제안 방법

• 알고리즘은 FM85 스키치의 압축된 상태에 대해 세 가지 새로운 추정기인 ICON, MDL, 그리고 역사적 역확률 추정기를 적용한다. 이 스키치는 각 k행에서 수집되지 않은 쿠폰 중 가장 왼쪽에 있는 것을 추적한다.
• FM85 스키치는 압축 수준 1로 zstd 라이브러리를 사용하여 압축되며, 이로 인해 HLL의 이론적 한계를 초월한 공간 효율성을 확보한다.
• 엔트로피는 각 쿠폰의 누적 수집 가능성에 기반한 확률을 사용한 산술 압축을 통해 계산된다. 이 확률은 총 추출 횟수 n에 따라 결정된다.
• 오차 상수는 이중 점근적 극한인 루트 평균 제곱 오차를 n으로 나눈 값이 k→∞ 및 n→∞일 때의 근사치를 도출하는 비트라이벌 시뮬레이션 방법을 통해 추정된다.
• 공정한 정확도 비교를 위해 동일한 k 값을 사용하여 압축된 FM85와 압축된 HLL 간의 직접 비교를 수행한다 (FM85의 경우 k=2^15, HLL의 경우 k=2^16).
• HLL 스키치는 직접 zstd로 압축되며, FM85 스키치 역시 동일한 압축 파이프라인을 사용하여 압축 크기와 성능을 직접 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 새로운 추정기를 사용한 FM85 스키치는 HLL 스키치보다 비트당 엔트로피 기반 정확도가 높을 수 있는가?
• RQ2 FM85 스키치를 HLL 스키치의 엔트로피보다 작은 크기로 압축할 수 있는가? 이는 공간 효율성을 향상시키는 데 기여한다.
• RQ3 FM85에 새롭게 도입된 추정기들이 기존 FM85 추정기 및 HLL 추정기보다 정확도를 크게 향상시킬 수 있는가?
• RQ4 기반 시뮬레이션 방법을 통해 기수 추정에서 오차 상수를 정의하는 이중 점근적 극한을 정확히 추정할 수 있는가?
• RQ5 FM85에 고도의 추정기와 zstd 압축을 조합할 경우, 시간, 공간, 정확도의 세 가지 차원에서 HLL를 모두 능가하는 시스템을 구축할 수 있는가?

주요 결과

• FM85 스키치의 엔트로피는 약 4.70×k 비트이며, HLL 스키치는 2.83×k 비트이므로 HLL가 본질적으로 더 압축 가능하다는 것을 시사한다.
• 새로운 ICON 추정기의 오차 상수는 0.693이며, 이는 HLL의 정확도를 뛰어넘기 위해 필요한 임계값 0.807 이하이므로 HLL보다 우수하다.
• 압축된 FM85 스키치는 HLL의 엔트로피보다 작으며, 이는 알려진 추정기를 사용하는 어떤 HLL 구현도 FM85의 공간 효율성을 따라오지 못한다는 것을 의미한다.
• 실제 벤치마크에서 FM85에 ICON 추정기를 적용한 경우 HLL의 표준 추정기보다 더 정확하며, FM85에 MDL 추정기를 적용한 경우 HLL의 MDL 추정기보다도 뛰어난 성능을 보였다.
• FM85는 HLL보다 두 배 많은 바이트를 zstd에 전송하지만, 스키치 상태의 더 높은 압축 가능성 덕분에 더 빠른 속도를 기록한다.
• 프로토타입은 10억 개의 항목을 4.3초 내에 처리하여 실용적인 성능을 입증하였다.