[논문 리뷰] NeuroCard: One Cardinality Estimator for All Tables

Zongheng Yang, Amog Kamsetty외 5명|arXiv (Cornell University)|2020. 06. 15.

Advanced Database Systems and Queries참고 문헌 44인용 수 23

한 줄 요약

NeuroCard는 독립성 가정 없이 전체 데이터베이스 스키마에 걸쳐 테이블 간 및 컬럼 간 상관관계를 모델링하는 단일 통합 신경 밀도 추정기이다. 조인 샘플링과 딥 순차 모델을 활용하여 기존 방법보다 최대 34배 높은 정확도를 달성하면서도, 몇 MB 내외로 컴act하고 학습이 빠르며(초부터 분 단위), 상태의 정밀도를 확보한다.

ABSTRACT

Query optimizers rely on accurate cardinality estimates to produce good execution plans. Despite decades of research, existing cardinality estimators are inaccurate for complex queries, due to making lossy modeling assumptions and not capturing inter-table correlations. In this work, we show that it is possible to learn the correlations across all tables in a database without any independence assumptions. We present NeuroCard, a join cardinality estimator that builds a single neural density estimator over an entire database. Leveraging join sampling and modern deep autoregressive models, NeuroCard makes no inter-table or inter-column independence assumptions in its probabilistic modeling. NeuroCard achieves orders of magnitude higher accuracy than the best prior methods (a new state-of-the-art result of 8.5$ imes$ maximum error on JOB-light), scales to dozens of tables, while being compact in space (several MBs) and efficient to construct or update (seconds to minutes).

연구 동기 및 목표

• 복잡한 다중 조인 쿼리에 특히 중요한 쿼리 최적화에서의 카디널리티 추정의 부정확성 문제를 해결한다.
• 기존의 데이터 기반 추정기들이 독립성 가정에 의존하여 복잡한 테이블 간 상관관계를 포착하지 못하는 한계를 극복한다.
• 재학습 없이도 스키마의 어떤 테이블 조합에도 적용 가능한 확장성 있고 일반적인 카디널리티 추정기를 개발한다.
• 완전한 외부 조인을 계산하는 대신 전체 외부 조인에서 샘플링하여 학습 비용과 모델 크기를 줄이면서도 높은 정확도를 유지한다.
• 쿼리별 가정 없이 모든 테이블의 전체 결합 분포를 학습함으로써 분포 이탈 상황에서도 견고한 추정을 가능하게 한다.

제안 방법

• 스키마에 포함된 모든 테이블의 완전한 외부 조인에 대해 단일 딥 순차 모델을 구축하여 모든 테이블 간 및 컬럼 간 상관관계를 포착한다.
• 각 키에 대한 올바른 샘플링 가중치를 사전 계산하기 위해 선형 시간 동적 프로그래밍 알고리즘을 사용하여 완전한 외부 조인 분포에서 편향 없는 샘플링을 가능하게 한다.
• 계산된 가중치를 사용해 완전한 외부 조인에서 튜플을 샘플링하여 진짜 조인 분포를 유지하는 학습 데이터를 생성한다.
• 샘플링된 데이터에 대해 딥 순차 모델(예: 플로우 기반 또는 순차 정규화 플로우 기반)을 학습시켜 결합 확률 분포를 학습한다.
• 추론 시에는 학습된 모델을 사용해 조건부 확률을 계산하고 속성을 통합하여 어떤 테이블 조합의 어떤 쿼리에 대해서도 선택도 및 카디널리티를 추정한다.
• 샘플링된 분포에서 샘플을 추출하고 샘플 튜플에 대해 조건문을 평가함으로써 복잡한 조건자를 지원한다.

실험 결과

연구 질문

• RQ1 독립성 가정 없이 단일 신경 밀도 추정기가 데이터베이스 내 모든 테이블 간 및 컬럼 간 상관관계를 모델링할 수 있는가?
• RQ2 완전한 외부 조인을 사전 계산하지 않고도 이러한 모델을 효율적으로 학습할 수 있는가? (완전한 외부 조인은 계산적으로 비현실적이다.)
• RQ3 단일이고 컴act한 모델로 다양한 쿼리 유형과 테이블 조합에 대해 높은 추정 정확도를 달성할 수 있는가?
• RQ4 정확한 가중치를 사용해 완전한 외부 조인 분포에서 샘플링하면 카디널리티 추정을 위한 대표적인 학습 분포가 되는가?
• RQ5 기존의 쿼리 기반 및 데이터 기반 카디널리티 추정기와 비교해 본다면, 제안된 방법은 정확도와 효율성 면에서 어떻게 성능을 내는가?

주요 결과

• JOB-light 벤치마크에서 NeuroCard는 DeepDB보다 최대 34배 높은 정확도를 기록했고, 최고의 이전 방법보다 최대 오차가 8.5배 낮았다.
• 복잡한 다중 조인 쿼리에서 최첨단 성능을 달성하여 쿼리 기반 및 데이터 기반 추정기 모두를 크게 능가했다.
• NeuroCard는 단 몇 메가바이트의 스토리지만 필요하며, 학습 또는 업데이트에 몇 초에서 몇 분 내외로 빠르게 수행된다.
• 수십 개의 테이블까지 스케일링 가능하여 실세계 데이터베이스 스키마에 대한 실용성을 입증했다.
• 독립성 가정 없이 전체 결합 분포를 학습함으로써 전통적인 추정기들이 놓치는 복잡한 상관관계를 포착한다.
• 가중치가 부여된 조인 샘플링을 통해 학습 데이터가 진짜 조인 분포를 대표하게 되어, 어떤 테이블 조합의 어떤 쿼리에 대해서도 정확한 일반화가 가능하다.