[논문 리뷰] New Cardinality Estimation Methods for HyperLogLog Sketches

Otmar Ertl|arXiv (Cornell University)|2017. 06. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 7

한 줄 요약

이 논문은 전체 기수 범위에서 편향이 없는 두 가지 새로운 기수 추정 방법을 제안한다. 첫 번째 방법은 원래 HLL 추정기의 이론적 수정을 통해 성능을 향상시키며, 두 번째 방법은 최대우도(ML) 추정을 통해 두 개의 HLL 스케치를 동시에 모델링하여 포함-배제 원칙에 비해 교차 및 합집합과 같은 집합 연산의 정확도를 크게 향상시킨다.

ABSTRACT

This work presents new cardinality estimation methods for data sets recorded by HyperLogLog sketches. A simple derivation of the original estimator was found, that also gives insight how to correct its deficiencies. The result is an improved estimator that is unbiased over the full cardinality range, is easy computable, and does not rely on empirically determined data as previous approaches. Based on the maximum likelihood principle a second unbiased estimation method is presented which can also be extended to estimate cardinalities of union, intersection, or relative complements of two sets that are both represented as HyperLogLog sketches. Experimental results show that this approach is more precise than the conventional technique using the inclusion-exclusion principle.

연구 동기 및 목표

• 원래 HyperLogLog 추정기의 전체 기수 범위에서의 편향과 정확도 한계를 해결하기 위해.
• 실험적으로 조정된 파라미터나 조각난 추정기 의존을 피할 수 있는 방법을 개발하기 위해.
• 합집합, 교차, 상대적 여집합과 같은 집합 연산으로의 HLL 기수 추정을 확장하여 정밀도를 향상시키기 위해.
• 기존의 실험적으로 校정된 HLL 추정기 대비 이론적으로 기반을 둔 편향 없는 대안을 제공하기 위해.
• ML 기반 Jaccard 거리 추정을 활용한 국소 감지 해싱을 위한 HLL 스케치의 잠재력을 탐색하기 위해.

제안 방법

• 레지스터 값의 기본 분포에 기반한 단순한 이론적 유도를 통해 원래 HLL 추정기의 수정된 버전을 유도한다.
• 두 개의 HLL 스케치의 공동 우도 함수에 최대우도(ML) 원리를 적용하여 집합 연산의 기수를 추정한다.
• HLL 레지스터의 충분통계량(레지스터 값)을 활용하여 ML 추정을 위한 우도 함수를 구성한다.
• 공동 추정을 위해 우도 함수를 수치적으로 최대화하기 위해 Broyden-Fletcher-Goldfarb-Shanno(BFGS) 알고리즘을 사용한다.
• 포isson 근사 하에 공동 확률 모델을 단순화하여 레지스터 값 동일성 확률에 대한 분석적 통찰과 경계를 도출한다.
• ML 기반 교차 및 합집합 추정을 활용하여 HLL 스케치로 표현된 집합 간의 Jaccard 거리를 추정하는 방법을 제안한다.

실험 결과

연구 질문

• RQ1 실험 데이터에 의존하지 않고 이론적으로 도출된 수정이 원래 HLL 추정기의 성능을 향상시킬 수 있는가?
• RQ2 최대우도 추정이 두 개의 HLL 스케치에 효과적으로 적용되어 교차 및 합집합 기수 추정의 정확도를 향상시킬 수 있는가?
• RQ3 ML 기반 공동 추정 방법이 기존의 포함-배제 원칙에 비해 집합 연산에서 정확도 면에서 어떻게 비교되는가?
• RQ4 HLL 스케치는 국소 감지 해싱의 기초로 사용될 수 있으며, 이에 대한 이론적 근거는 무엇인가?
• RQ5 포isson 근사 하에 HLL 스케치에서 레지스터 값 동일성과 Jaccard 거리 간의 관계는 무엇인가?

주요 결과

• 제안된 수정된 추정기는 전체 기수 범위에서 편향이 없으며, 실험적으로 조정된 파라미터가 필요하지 않다.
• 두 개의 HLL 스케치에 대한 ML 기반 방법은 포함-배제 원칙에 비해 교차, 합집합, 상대적 여집합의 추정 오차를 크게 감소시킨다.
• 특히 결과 기수가 입력 크기 대비 작을 경우 기존 방법에 비해 더 높은 정밀도를 달성한다.
• 이론적 분석을 통해 두 개의 HLL 스케치에서 레지스터 값이 동일할 확률은 Jaccard 거리에 의존하며, 이는 HLL의 국소 감지 해싱 잠재력에 대한 지원을 제공한다.
• 로그적 적분을 활용한 레지스터 동일성 확률 근사가 타당한 경계를 제공하여 ML 방법의 이론적 기반을 검증한다.
• ML 방법은 HLL 스케치로부터 교차 및 합집합 크기의 정밀한 추정을 조합함으로써 더 정확한 Jaccard 거리 추정을 가능하게 한다.