[논문 리뷰] An Empirical Analysis of Deep Learning for Cardinality Estimation

Jennifer Ortiz, Magdalena Bałazińska외 2명|arXiv (Cornell University)|2019. 05. 15.

Data Stream Mining Techniques참고 문헌 62인용 수 22

한 줄 요약

이 논문은 관계형 데이터베이스 쿼리 최적화에서 카디널리티 추정을 위한 딥러닝 모델을 평가하며, 단순한 신경망 모델이 포스트그레스큐엘 대비 추정 오차를 최대 98%까지 감소시킴을 입증한다. 최적화기 내에 통합되었을 때 이러한 모델들은 쿼리 계획 선택을 향상시켜 복잡한 워크로드에서 런타임을 최대 49% 감소시킨다.

ABSTRACT

We implement and evaluate deep learning for cardinality estimation by studying the accuracy, space and time trade-offs across several architectures. We find that simple deep learning models can learn cardinality estimations across a variety of datasets (reducing the error by 72% - 98% on average compared to PostgreSQL). In addition, we empirically evaluate the impact of injecting cardinality estimates produced by deep learning models into the PostgreSQL optimizer. In many cases, the estimates from these models lead to better query plans across all datasets, reducing the runtimes by up to 49% on select-project-join workloads. As promising as these models are, we also discuss and address some of the challenges of using them in practice.

연구 동기 및 목표

• 관계형 데이터베이스에서 카디널리티 추정을 위한 딥러닝 모델의 실현 가능성과 성능을 평가하는 것.
• 정확도, 학습 시간, 모델 크기 측면에서 전통적 통계와 트리 앙상블과의 비교를 통해 딥러닝 모델을 평가하는 것.
• 학습된 카디널리티 추정치가 실제 쿼리 실행 계획과 런타임 성능에 미치는 영향을 평가하는 것.
• 변경되는 쿼리 워크로드 하에서 모델의 강건성과 학습된 표현의 해석 가능성에 대해 조사하는 것.
• 학습 오버헤드, 일반화 능력, 기존 데이터베이스 시스템에의 통합과 같은 실용적 과제를 해결하는 것.

제안 방법

• 실세계 데이터셋에서 카디널리티 추정을 위한 다양한 딥 뉴럴 네트워크(DNN) 및 순환 신경망(RNN) 아키텍처를 구현하고 학습하는 것.
• 모델이 레이블이 부여된 쿼리 서브플랜(실제 카디널리티를 포함)에 대해 지도 학습 방식으로 학습되도록 하는 것.
• 깊이와 너비를 조절하여 정확도, 추론 시간, 파라미터 수의 상호 교환 관계를 연구하기 위해 모델 복잡도를 다양화하는 것.
• 학습된 딥러닝 모델을 포스트그레스큐엘의 쿼리 최적화기에 통합하여 실제 쿼리 실행 계획에 미치는 영향을 평가하는 것.
• 필요한 학습 샘플 수를 줄이기 위해 활성 학습 기법(예: 불확실성 샘플링, 쿼리-바이-커미티)을 적용하는 것.
• 학습된 임bedding을 시각화하여 모델이 학습 중에 어떤 특징을 포착하는지 분석하는 것.

실험 결과

연구 질문

• RQ1 단순한 딥러닝 모델이 기존 DBMS 통계에 비해 카디널리티 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 카디널리티 추정에서 다양한 딥러닝 아키텍처의 공간, 시간, 정확도 간 상호 교환 관계는 어떠한가?
• RQ3 예측 정확도와 학습 오버헤드 측면에서 딥러닝 모델은 트리 앙상블과 포스트그레스큐엘 내장 추정기와 어떻게 비교되는가?
• RQ4 최적화기에 통합되었을 때 딥러닝 기반 추정치가 실제 쿼리 실행 성능 향상에 어느 정도 기여하는가?
• RQ5 딥러닝 모델은 쿼리 워크로드 분포 변화에 얼마나 강건한가?

주요 결과

• 단순한 딥러닝 모델은 포스트그레스큐엘의 기본 추정기 대비 평균 72%에서 98%까지 카디널리티 추정 오차를 감소시킨다.
• 포스트그레스큐엘의 최적화기에 통합되었을 때, 딥러닝 모델은 특정 선택-프로젝션-조인 워크로드에서 쿼리 런타임을 최대 49% 감소시킨다.
• 트리 앙상블는 특정 조건 하에서 딥러닝 모델보다 더 빠르게 학습되고 더 정확한 편이지만, 더 많은 스토리지가 필요하다.
• 딥러닝 모델은 트리 앙상블보다 워크로드 이동에 더 강건한 편이며, 분포 변화에 더 민감한 편이다.
• QBC 및 QBC+클러스터링과 같은 활성 학습 기법은 필요한 학습 샘플 수를 줄여 작은 데이터셋으로도 낮은 손실을 달성할 수 있다.
• 학습된 임베딩의 시각화 결과, 모델이 기본 통계를 넘어서 의미 있는 데이터 상관관계와 분포 패턴을 포착하고 있음을 확인할 수 있다.