[논문 리뷰] Selectivity Estimation with Deep Likelihood Models

Zongheng Yang, Eric Liang외 8명|arXiv (Cornell University)|2019. 05. 10.

Data Management and Algorithms참고 문헌 56인용 수 12

한 줄 요약

이 논문은 몽테 카를로 적분을 사용하여 독립성 가정 없이 복잡한 범위 및 와일드카드 쿼리를 효율적으로 처리할 수 있는 딥 라이크리후드 모델을 제안한다. 이는 꼬리 선택도 영역에서 단일 자릿수의 곱셈 오차를 달성하며, 최신 기술 대비 40–200배의 정확도 향상을 이룬다. 또한 공간 및 시간 효율성을 유지한다.

ABSTRACT

Selectivity estimation has long been grounded in statistical tools for density estimation. To capture the rich multivariate distributions of relational tables, we propose the use of a new type of high-capacity statistical model: deep likelihood models. However, direct application of these models leads to a limited estimator that is prohibitively expensive to evaluate for range and wildcard predicates. To make a truly usable estimator, we develop a Monte Carlo integration scheme on top of likelihood models that can efficiently handle range queries with dozens of filters or more. Like classical synopses, our estimator summarizes the data without supervision. Unlike previous solutions, our estimator approximates the joint data distribution without any independence assumptions. When evaluated on real-world datasets and compared against real systems and dominant families of techniques, our likelihood model based estimator achieves single-digit multiplicative error at tail, a 40-200$ imes$ accuracy improvement over the second best method, and is space- and runtime-efficient.

연구 동기 및 목표

• 관계 테이블 내에서 복잡한 다변량 데이터 분포를 모델링하는 데 있어 고전적 통계 방법의 한계를 해결한다.
• 범위 및 와일드카드 조건자에 딥 라이크리후드 모델을 직접 적용할 경우 발생하는 높은 계산 비용을 극복한다.
• 속성 간 독립성을 가정하지 않고 공동 데이터 분포를 포괄하는 확장 가능한 비지도 추정기 개발.
• 특히 꼬리 선택도 영역에서 높은 정확도를 달성하면서도 공간 및 런타임 효율성을 유지한다.

제안 방법

• 관계 데이터 내 풍부한 다변량 분포를 포착하기 위해 고용량 밀도 추정기로 딥 라이크리후드 모델을 활용한다.
• 딥 라이크리후드 모델 기반 쿼리 선택도를 효율적으로 근사하기 위한 몽테 카를로 적분 기법을 설계한다.
• 명시적 주변 분포 계산 없이 스트로스틱 샘플링을 통해 범위 및 와일드카드 조건자를 평가하여 계산 비용을 감소시킨다.
• 독립성 가정 없이 공동 분포를 요약하는 컴act한 비지도 요약 정보를 유지한다.
• 라이크리후드 모델이 속성 간 복잡한 의존성을 표현할 수 있는 능력을 활용해 추정 정밀도를 향상시킨다.
• 수십 개의 필터에까지 확장 가능한 통합 기법을 최적화하여 실세계 시스템에의 실용적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 라이크리후드 모델의 높은 계산 비용에도 불구하고 데이터베이스 선택도 추정에 효과적으로 적용될 수 있는가?
• RQ2 몽테 카를로 적분을 통해 딥 라이크리후드 모델을 범위 및 와일드카드 쿼리에 실용적으로 적용할 수 있는가?
• RQ3 독립성 기반 또는 요약 기반 방법에 비해 라이크리후드 모델이 선택도 추정 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 공간 및 시간 효율성을 유지하면서도 꼬리 선택도 영역에서 높은 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 꼬리 선택도 영역에서 단일 자릿수의 곱셈 오차를 달성하여 기존 기술을 크게 능가한다.
• 두 번째로 우수한 방법 대비 정확도를 40–200배 향상시켜 추정 정밀도 향상의 상당한 성과를 입증한다.
• 추정기는 공간 및 런타임 효율성을 유지하여 실세계 데이터베이스 시스템에의 실용적 구현이 가능하다.
• 이전 방법들과 달리 속성 간 독립성을 가정하지 않고 공동 데이터 분포를 모델링하여 복잡한 데이터 상관관계를 포착한다.
• 몽테 카를로 통합 기법을 통해 수십 개의 필터가 포함된 쿼리의 효율적 평가가 가능하여 방법의 확장성을 확보한다.
• 이 방법은 비지도이며, 레이블이 있는 예제나 학습 데이터가 필요 없이 데이터를 요약한다.