[논문 리뷰] Moment-Based Quantile Sketches for Efficient High Cardinality Aggregation Queries

Edward Gan, Jialin Ding외 3명|arXiv (Cornell University)|2018. 03. 06.

Data Management and Algorithms참고 문헌 70인용 수 3

한 줄 요약

이 논문은 200바이트 미만의 메모리와 50나노초 미만의 병합 시간으로 빠르고 정확한 분위수 추정을 가능하게 하는 컴팩트한 분위수 스케치인 moments sketch를 소개한다. 표본 및 로그-모멘트를 추적함으로써, 기존 스케치 대비 Druid에서 최대 60배, MacroBase에서 7.9배 빠른 쿼리 성능을 달성하며, 분위수 오차는 1% 미만을 기록한다. 방법의 모멘트와 최대 엔트로피 원리의 조합을 통해 실현된다.

ABSTRACT

Interactive analytics increasingly involves querying for quantiles over sub-populations of high cardinality datasets. Data processing engines such as Druid and Spark use mergeable summaries to estimate quantiles, but summary merge times can be a bottleneck during aggregation. We show how a compact and efficiently mergeable quantile sketch can support aggregation workloads. This data structure, which we refer to as the moments sketch, operates with a small memory footprint (200 bytes) and computationally efficient (50ns) merges by tracking only a set of summary statistics, notably the sample moments. We demonstrate how we can efficiently and practically estimate quantiles using the method of moments and the maximum entropy principle, and show how the use of a cascade further improves query time for threshold predicates. Empirical evaluation on real-world datasets shows that the moments sketch can achieve less than 1 percent error with 15 times less merge overhead than comparable summaries, improving end query time in the MacroBase engine by up to 7 times and the Druid engine by up to 60 times.

연구 동기 및 목표

• Druid 및 Spark와 같은 고카디널리티 OLAP 시스템에서 대량의 분위수 요약을 병합하는 데서 발생하는 성능 저하 문제를 해결하기 위해.
• 수백만 개의 차원-값 조합에 걸쳐 근사 분위수 추정이 필요한 인터랙티브 분석 워크로드에서 메모리 및 계산 오버헤드를 줄이기 위해.
• 높은 정확도를 유지하면서도 효율적인 병합 연산을 지원하는 요약 데이터 구조를 설계하기 위해.
• 요약 병합 시간을 최소화하여 실시간 모니터링 및 탐색형 데이터 분석에서 인터랙티브 쿼리 응답 시간을 확보하기 위해.
• 진행적으로 더 정확한 추정기를 사용하는 점진적 필터링 전략을 개발하여 임계값 기반 분위수 쿼리의 성능을 향상시키기 위해.

제안 방법

• moments sketch는 데이터 분포를 압축적으로 요약하기 위해 표본 모멘트 μi = (1/n)Σxi와 로그-모멘트 νi = (1/n)Σlogi(x)를 저장한다.
• 분위수 추정은 방법의 모멘트와 최대 엔트로피 원리를 결합하여 저장된 모멘트와 일치하는 가장 편향이 적은 분포를 추론함으로써 수행된다.
• 모멘트의 폐쇄형 집계를 통한 효율적 병합 연산을 지원함으로써, 최소한의 메모리 프로필로 50나노초 이내의 병합 시간을 달성한다.
• 다단계 추정기 캐스케이드를 도입함: 먼저 빠르고 근사적인 검사(예: 범위 기반)를 수행하고, 점차 더 정확한 모멘트 기반 추정으로 전환함으로써 고비용의 전체 추정 횟수를 감소시킨다.
• 스ライ딩 윈도우 쿼리를 지원하기 위해 터널스테이트 의미론을 사용하여, 뺄셈과 병합을 통해 스케치를 동적으로 업데이트한다.
• 실제 데이터셋(예: 밀라노 인터넷 사용 데이터, 마이크로소프트 텔레메트리)을 사용하여 Druid 및 MacroBase 엔진에서 실전과 유사한 워크로드를 대상으로 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 오직 모멘트만 추적하는 요약 데이터 구조가 최소한의 메모리 및 계산 비용으로도 높은 정확도의 분위수 추정을 달성할 수 있는가?
• RQ2 고카디널리티 집계 워크로드에서, GK-sketch나 Merge12와 같은 기존의 병합 가능한 분위수 요약과 비교해 모멘트 기반 스케치의 병합 시간은 어떻게 되는가?
• RQ3 캐스케이드 필터링 전략은 임계값 기반 분위수 쿼리에서 쿼리 지연 시간을 얼마나 줄일 수 있는가?
• RQ4 moments sketch는 다양한 실세계 데이터셋에서 <1%의 분위수 오차를 유지하면서도 인터랙티브 쿼리 성능을 보장할 수 있는가?
• RQ5 제한된 요약 통계치에서부터 모멘트 기반 추정과 최대 엔트로피의 조합이 편향이 적은 분위수 추정을 얼마나 효과적으로 생성하는가?

주요 결과

• moments sketch는 실세계 데이터셋에서 200바이트의 메모리와 50나노초 이내의 병합 시간으로 1% 미만의 분위수 오차를 기록한다.
• MacroBase 엔진에서, 캐스케이드를 사용한 moments sketch 쿼리는 Merge12 스케치 대비 7.9배 빠르고 직접 추정 기반 베이스라인 대비 3.7배 빠르다.
• Druid 엔진에서 moments sketch는 병합 연산이 훨씬 빠르기 때문에 Merge12 스케치 대비 쿼리 시간을 최대 60배까지 단축시킨다.
• 캐스케이드 메커니즘은 난이도가 높은 기본 베이스라인 대비 추정 시간을 250배 이상 단축시키며, 각 단계에서 처리하는 쿼리 수가 줄어들고 처리량이 향상된다.
• 턴스테이트 업데이트와 캐스케이드를 사용한 슬라이딩 윈도우 쿼리는 Merge12 스케치 대비 13배 더 빠르게 실행된다.
• 모멘트 기반 추정과 최대 엔트로피의 조합은 연속적인 실수형 데이터에서 다른 접근법보다 더 정확한 분위수 추정을 제공한다.