[논문 리뷰] Computing Extremely Accurate Quantiles Using t-Digests

Ted Dunning, Otmar Ertl|arXiv (Cornell University)|2019. 02. 11.

Distributed and Parallel Computing Systems참고 문헌 3인용 수 42

한 줄 요약

본 논문은 정확한 분위수를 적은 메모리로 추정하기 위한 온라인 데이터 구조인 t-digest를 도입하고, 특히 꼬리 영역에서의 정확성을 높이며 digests를 병합하고 다양한 스케일 함수로 제어 가능한 오차bound를 보장하는 방법을 보인다.

ABSTRACT

We present on-line algorithms for computing approximations of rank-based statistics that give high accuracy, particularly near the tails of a distribution, with very small sketches. Notably, the method allows a quantile $q$ to be computed with an accuracy relative to $\max(q, 1-q)$ rather than absolute accuracy as with most other methods. This new algorithm is robust with respect to skewed distributions or ordered datasets and allows separately computed summaries to be combined with no loss in accuracy. An open-source Java implementation of this algorithm is available from the author. Independent implementations in Go and Python are also available.

연구 동기 및 목표

• 분포의 꼬리에서 특히 높은 정확도로 계급 기반 통계를 근사하기 위한 온라인 알고리즘을 제공한다.
• 상수 메모리 사용량으로 분위수 추정에 대해 상대 오차를 일정하게 유지한다.
• 독립적으로 계산된 digests를 손실 없이 병합할 수 있어 확장성 있는 분석을 가능하게 한다.
• 대용량 또는 파티션된 데이터 세트에서 t-digest를 구축하기 위한 유연한 처리 모드(버퍼-그리드-병합 및 스트리밍 클러스터링)를 허용한다.]
• method:{
• title
• type

제안 방법

• 샘플의 군집으로 평균과 가중치를 가진 t-digests를 정의한다.
• 스케일 함수 k(q)를 사용해 군집의 크기를 제약하고 꼬리 영역의 정확성을 위해 작은 꼬리 군집을 보장한다.
• 두 가지 구성 방법을 제공한다: 버퍼-그리드(버퍼-앤드-병합)와 포인트별 최근접 군집 클러스터링.
• 독립적인 t-digest를 병합해도 크기 보장과 상대 정확도를 보존하도록 한다.
• 다양한 군집 구성하에서 경험적으로 CDF 사이의 보간 방법을 설명한다.
• 확정된 군집 수와 digest 병합 특성에 대해 보장하는 대체 스케일 함수(k0, k1, k2, k3)를 제공한다.
• 既알고리즘(Algorithm 1)과 클러스터링 변형(Algorithm 2)을 통해 기존 t-digest에 점진적으로 데이터를 병합하는 알고리즘을 제시한다.

실험 결과

연구 질문

• RQ1 온라인 분위수 추정이 상수 메모리로 어떻게 높은 정확도, 특히 분포 꼬리에 가까운 영역에서 달성될 수 있는가?
• RQ2 독립적으로 계산된 digests를 정확도나 순서 특성을 손실 없이 병합할 수 있는가?
• RQ3 꼬리 정확성, 전반적 오차 및 digest 크기의 균형을 맞추려면 어떤 스케일 함수가 군집 크기를 가장 잘 제어하는가?
• RQ4 버퍼-병합 대 클러스터링 등 서로 다른 digest 구성 접근법이 실제 정확도와 성능에 어떤 영향을 미치는가?
• RQ5 다양한 군집화 데이터에 대해 어떤 보간 스킴이 분위수 추정치를 정확하게 만들어 주는가?

주요 결과

• t-digests는 꼬리에 가까운 분위수에서 특히 상대 오차가 거의 일정한 상수 메모리로 동작한다.
• 스케일 함수는 극단적인 분위수에서 작은 군집을 사용하도록 군집 크기를 제한하므로 꼬리 영역의 정확성을 향상시키고 군집 수 증가를 억제한다.
• 독립적인 t-digest를 병합하면 특정 스케일 함수 하에서 정확도를 보존하는 유효한 digest가 되며 병렬 및 OLAP 사용을 가능하게 한다.
• 다양한 스케일 함수(k0, k1, k2, k3)는 digest 크기, 정확도, 꼬리 동작 간의 트레이드오프를 제공하며 k2/k3은 꼬리 군집화를 강화한다.
• 군집 간 보간 스킴은 다중 샘플 및 싱글턴 군집이 있는 상황에서 CDF 추정치를 개선한다.
• 실험 결과 꼬리는 q가 0에 가까울 때 또는 1에 가까울 때 δ=100에서 십만분의 단위 오차를 달성하는 반면, 중간 범위 정확도는 특정 스케일(k1 대 k2/k3)에 따라 다르게 나타난다.