[논문 리뷰] Joins on Samples: A Theoretical Guide for Practitioners

Dawei Huang, Dong Young Yoon외 2명|arXiv (Cornell University)|2019. 12. 07.

Data Management and Algorithms참고 문헌 56인용 수 4

한 줄 요약

이 논문은 오프라인 샘플을 사용한 등조인 근사화를 위한 이론적 기반을 제공하며, 최적의 샘플링 전략—특히 분层, 유니버스, 베르누이 샘플링을 융합한 하이브리드 기법—이 정보 이론적 하한선에 비해 변동성을 일정 요인 이내로 유지할 수 있음을 보여준다. 실용적 구현을 위해 탈중앙화된 변형을 도입하여 전체 데이터 재배치 없이도 정확하고 저비용의 조인 추정이 가능하다.

ABSTRACT

Despite decades of research on approximate query processing (AQP), our understanding of sample-based joins has remained limited and, to some extent, even superficial. The common belief in the community is that joining random samples is futile. This belief is largely based on an early result showing that the join of two uniform samples is not an independent sample of the original join, and that it leads to quadratically fewer output tuples. However, unfortunately, this result has little applicability to the key questions practitioners face. For example, the success metric is often the final approximation's accuracy, rather than output cardinality. Moreover, there are many non-uniform sampling strategies that one can employ. Is sampling for joins still futile in all of these settings? If not, what is the best sampling strategy in each case? To the best of our knowledge, there is no formal study answering these questions. This paper aims to improve our understanding of sample-based joins and offer a guideline for practitioners building and using real-world AQP systems. We study limitations of offline samples in approximating join queries: given an offline sampling budget, how well can one approximate the join of two tables? We answer this question for two success metrics: output size and estimator variance. We show that maximizing output size is easy, while there is an information-theoretical lower bound on the lowest variance achievable by any sampling strategy. We then define a hybrid sampling scheme that captures all combinations of stratified, universe, and Bernoulli sampling, and show that this scheme with our optimal parameters achieves the theoretical lower bound within a constant factor. Since computing these optimal parameters requires shuffling statistics across the network, we also propose a decentralized variant where each node acts autonomously using minimal statistics.

연구 동기 및 목표

• 근사 쿼리 처리(AQP)에서 균일 샘플을 조인하는 것은 본질적으로 무의미하다는 오랫동안 지속된 오해를 해결하기 위해.
• 출력 크기와 추정기 분산이라는 두 가지 핵심 성능 지표를 기준으로, 오프라인 샘플링이 등조인을 근사화하는 데서 겪는 제약을 체계적으로 분석하기 위해.
• 정보 이론적으로 최적인 샘플링 전략을 유도하여 분산을 최소화하고, 이론적 하한선에 비해 일정 요인 이내의 성능을 달성하기 위해.
• 최소한의 네트워크 통신으로 통계 정보를 공유하면서도 실용적인 구현이 가능한 탈중앙화된 샘플링 변형을 설계하기 위해.
• 실제 SQL 및 AQP 엔진에서 이론적 결과를 실증적으로 검증하여 실용적 정확도와 효율성을 입증하기 위해.

제안 방법

• 각 구성 요소에 대한 샘플링 비율을 파ameter로 하는 단일 프레임워크에 분층, 유니버스, 베르누이 샘플링을 통합하는 하이브리드 샘플링 기법을 제안한다.
• 등조인에 대해 어떤 오프라인 샘플링 전략이라도 달성 가능한 최소 분산에 대한 정보 이론적 하한선을 유도한다.
• 이 하한선에 비해 일정 요인 이내의 분산을 달성하는 하이브리드 기법의 최적 샘플링 파ameter를 규명한다.
• 각 노드가 국지적 통계 자료만을 사용하여 자체적으로 최적의 샘플링 파am터를 계산할 수 있도록 하는 탈중앙화된 변형을 도입한다. 이로써 전역적 조율이 필요 없어진다.
• 변동성 최소화 기법과 통계 추정 기법을 활용하여 조인 결과에 대한 집계 함수(예: COUNT, SUM)의 정확한 근사를 보장한다.
• 실제 AQP 엔진(예: VerdictDB, Quickr)과 합성 워크로드를 사용하여 정확도와 성능 향상을 측정함으로써 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 균일 샘플을 조인하는 것은 근사 등조인에서 진정으로 무의미한가, 아니면 비균일 샘플링 전략이 높은 정확도를 달성할 수 있는가?
• RQ2 어떤 오프라인 샘플링 전략이라도 등조인에 대해 달성 가능한 이론적 최소 분산은 얼마이며, 이 하한선은 실질적으로 접근 가능한가?
• RQ3 통합된 샘플링 프레임워크는 분층, 유니버스, 베르누이 샘플링의 이점을 모두 포괄하면서도 분산을 최소화할 수 있는가?
• RQ4 전체 네트워크 조율 없이도 효율적으로 최적의 샘플링 파am터를 탈중앙화 방식으로 계산할 수 있는가?
• RQ5 이론적 결과가 실제 AQP 시스템에서 얼마나 실용적인 정확도 향상으로 이어지는가?

주요 결과

• 논문은 등조인에 대한 어떤 오프라인 샘플링 전략이라도 달성 가능한 분산에 대한 정보 이론적 하한선을 설정하여 최적 성능의 기준이 되는 기준점을 제공한다.
• 최적화된 파am터를 가진 제안된 하이브리드 샘플링 기법은 이 이론적 하한선에 비해 일정 요인 이내의 분산을 달성한다.
• 샘플링 기법의 탈중앙화된 변형은 각 노드가 국지적 통계 자료만을 사용하여 자체적으로 최적의 샘플링 파am터를 계산할 수 있게 하여 통신 오버헤드를 크게 줄였다.
• SQL 및 AQP 엔진에서의 실증 평가 결과, 제안된 방법이 균일 샘플링 및 유니버스 샘플링보다 높은 정확도와 빠른 처리 속도를 달성함을 확인하였다.
• 결과적으로, 특히 조인 컬럼의 분포가 비균형일 경우, 최적의 비균일 샘플링 전략을 사용할 경우 오프라인 샘플을 조인하는 것이 무의미하지 않다는 것이 입증되었다.
• 이 프레임워크는 더 잘 대표되는 조인 결과 샘플을 제공함으로써 데이터베이스 학습 및 선택도 추정의 정확도를 향상시킨다.