[논문 리뷰] BayesCard: A Unified Bayesian Framework for Cardinality Estimation.

Zi‐Niu Wu, Amir Shaikhha|arXiv (Cornell University)|2020. 12. 29.

Bayesian Modeling and Causal Inference참고 문헌 37인용 수 6

한 줄 요약

BayesCard는 확률 프로그래밍 언어(PPLs)를 사용하여 관계 데이터베이스에서 카디널리티 추정을 위한 통합 베이지안 프레임워크를 제안한다. 이는 깊이 학습 모델 대비 최대 1,000배 작고, 학습 비용이 10~100배 낮은 모델 크기로 상태의 정확도를 달성하면서도 쿼리 최적화기에서 안정적이고 해석 가능한 성능을 유지를 한다.

ABSTRACT

Cardinality estimation is one of the fundamental problems in database management systems and it is an essential component in query optimizers. Traditional machine-learning-based approaches use probabilistic models such as Bayesian Networks (BNs) to learn joint distributions on data. Recent research advocates for using deep unsupervised learning and achieves state-of-the-art performance in estimating the cardinality of selection and join queries. Yet the lack of scalability, stability and interpretability of such deep learning models, makes them unsuitable for real-world databases. Recent advances in probabilistic programming languages (PPLs) allow for a declarative and efficient specification of probabilistic models such as BNs, and achieve state-of-the-art accuracy in various machine learning tasks. In this paper, we present BayesCard, the first framework incorporating the techniques behind PPLs for building BNs along with relational extensions that can accurately estimate the cardinality of selection and join queries in database systems with model sizes that are up to three orders of magnitude smaller than deep models'. Furthermore, the more stable performance and better interpretation of BNs make them viable options for practical query optimizers. Our experimental results on several single-relation and multi-relation databases indicate that BayesCard with a reasonable estimation time has a better estimation accuracy than deep learning models, and has from one to two orders of magnitude less training cost nevertheless.

연구 동기 및 목표

• 깊이 학습 모델이 카디널리티 추정에서 보이는 낮은 확장성, 불안정성, 해석 불가능성 등의 한계를 해결한다.
• 선택 및 조인 쿼리 모두에 대해 쿼리 최적화기의 카디널리티 추정 정확도와 효율성을 향상시킨다.
• 확률 프로그래밍 언어(PPLs)를 활용하여 베이지안 네트워크(BNs)의 선언적이고 효율적이며 확장 가능한 구축을 가능하게 한다.
• 최신 깊이 학습 기법들과 비교해도 정확도를 유지하거나 향상시키면서 모델 크기와 학습 비용을 줄인다.
• 안정성과 해석 가능성 향상으로 실세계 데이터베이스 시스템에서 확률 모델의 실용적 구현을 가능하게 한다.

제안 방법

• 확률 프로그래밍 언어(PPLs)를 활용해 공동 데이터 분포를 모델링하기 위해 베이지안 네트워크(BNs)를 선언적으로 기술한다.
• 다중 관계 간의 카디널리티 추정, 특히 조인 쿼리에 대응하기 위해 BN에 관계적 확장을 적용한다.
• PPL에 내장된 효율적 추론 및 학습 알고리즘을 활용해 실제 데이터베이스 크기까지 확장 가능한 BN을 구현한다.
• 데이터 기반 학습을 통해 모델 구조와 파라미터를 최적화하면서도 해석 가능성을 유지한다.
• 단일 관계 및 다중 관계 카디널리티 추정을 모두 지원하는 통합 프레임워크를 도입한다.
• PPL이 제공하는 구조적 사전 분포와 압축된 파라미터화 기법을 활용해 모델 크기를 줄여, 깊이 학습 대비 최대 3개의 자리수 감소를 달성한다.

실험 결과

연구 질문

• RQ1 확률 프로그래밍 언어로 구축한 베이지안 프레임워크가 깊이 학습 모델보다 카디널리티 추정에서 더 높은 정확도를 달성할 수 있는가?
• RQ2 베이지안 네트워크가 정확도를 유지하거나 향상시키면서도 모델 크기와 학습 비용을 얼마나 줄일 수 있는가?
• RQ3 실제 데이터베이스 쿼리 최적화에서 베이지안 네트워크의 해석 가능성과 안정성은 깊이 학습 모델과 비교해 어떻게 다른가?
• RQ4 베이지안 네트워크에 관계적 확장을 도입하면 다중 테이블 간의 복잡한 조인 카디널리티를 효과적으로 모델링할 수 있는가?
• RQ5 깊이 학습 모델 대비 PPL 기반 BN을 사용할 경우, 모델 크기, 학습 비용, 정확도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• BayesCard는 단일 관계 및 다중 관계 데이터베이스에서 모두 최신 기술 수준의 정확도를 달성하며, 깊이 학습 모델을 능가한다.
• 깊이 학습 모델 대비 최대 3개의 자리수 감소한 모델 크기를 확보하여 효율적인 배포가 가능하다.
• 깊이 학습 기반 모델 대비 1~2개의 자리수 낮은 학습 비용을 기록하여 학습 효율성이 뛰어나다.
• 다양한 데이터 분포에 걸쳐 안정적인 성능을 유지하며, 불안정한 깊이 학습 모델 대비 뛰어난 내구성을 입증한다.
• PPL의 활용으로 압축되고 해석 가능한 모델을 생성하여 실세계 쿼리 최적화기와의 통합에 적합하다.
• 합리적인 추론 시간 내에 고정확도의 카디널리티 추정을 제공하여 온라인 쿼리 최적화에 실용적이다.