[논문 리뷰] Learned Cardinalities: Estimating Correlated Joins with Deep Learning

Andreas Kipf, Thomas Kipf외 4명|arXiv (Cornell University)|2018. 09. 03.

Data Management and Algorithms참고 문헌 30인용 수 162

한 줄 요약

논문은 다중 집합 합성 네트워크 MSCN을 소개합니다. 이는 cardinality 추정을 위한 조인-교차 상관관계를 학습하고, 물질화된 샘플 신호로 보강하며 IMDb 데이터에서 기준선 대비 견고한 개선을 보여줍니다. 또한 0-튜플 시나리오에서 경쟁력 있는 중앙값 정확도와 강한 성능을 보여주는 도전을 제시합니다.

ABSTRACT

We describe a new deep learning approach to cardinality estimation. MSCN is a multi-set convolutional network, tailored to representing relational query plans, that employs set semantics to capture query features and true cardinalities. MSCN builds on sampling-based estimation, addressing its weaknesses when no sampled tuples qualify a predicate, and in capturing join-crossing correlations. Our evaluation of MSCN using a real-world dataset shows that deep learning significantly enhances the quality of cardinality estimation, which is the core problem in query optimization.

연구 동기 및 목표

• 복잡하고 상관된 조인에 대한 카디널리티 추정을 개선하여 쿼리 최적화를 돕는 것을 목표로 한다.
• 세트 기반 쿼리 표현과 샘플링 신호를 활용해 조인 상관관계를 포착하는 신경망 모델을 제안한다.
• 전통적인 샘플링 기반 방법이 실패하는 0-튜플 상황에서의 오차를 줄인다.
• 훈련 데이터에서 보이지 않는 조인 순서 및 JOB-유사 쿼리를 포함한 다양한 워크로드에서 MSCN의 견고성과 일반화를 보여준다.

제안 방법

• 쿼리를 테이블, 조인, 술어의 세트로 표현하고 각 원소에 대해 원-핫 인코딩과 선택적 샘플링 비트를 사용한다.
• MSCN은 각 세트의 원소별 MLP 표현을 계산하고 이를 평균한 뒤 결합하고 최종 출력 MLP로 전달해 카디널리티를 예측한다.
• 타깃은 로그 변환으로 정규화하고 [0,1]로 매핑하며, Adam 옵티마이저를 사용해 평균 q-error를 최소화하도록 학습한다.
• 학습 데이터를 물질화된 기본 테이블 샘플 정보(카운트 및 비트맵)로 보강해 조인 교차 상관관계 학습을 돕는다.
• 스키마와 데이터로 생성된 합성 쿼리에 대해 학습한 뒤 합성, 스케일링 및 JOB-라이트 워크로드에서 일반화를 평가한다.

실험 결과

연구 질문

• RQ1 상관된 조인을 갖는 쿼리의 카디널리티를 세트 기반 딥러닝 모델이 정확히 추정할 수 있는가?
• RQ2 물질화된 샘플 정보(카운트/비트맵)를 도입하면 특히 0-튜플의 경우 추정이 개선되는가?
• RQ3 훈련 데이터와 다른 보류 및 워크로드에 대해 모델이 얼마나 잘 일반화하는가?
• RQ4 모델 크기, 학습 비용, 예측 지연 사이의 트레이드오프는 어떤가?

주요 결과

• MSCN은 IBJS 대비 중앙값 q-error에서 경쟁력 있게 측정되며 합성 워크로드에서 엔드-오브-디스트리뷰션 정확도가 크게 향상된다(예: MSCN의 중앙값 q-error 1.18 대 IBJS의 1.09).
• 0-튜플 시나리오에서 MSCN은 순수 샘플링 기반 방법보다 극적으로 우수하다(예: MSCN 중앙값 2.94 대 PostgreSQL 4.78 및 Random Sampling 9.13).
• 비트맵과 샘플 카운트를 추가하면 기본 테이블 및 조인 추정이 향상되며, 구성 전반에서 95th/99th 백분위의 q-error가 크게 감소한다.
• 훈련에 등장하지 않은 3- 및 4-조인 쿼리에 대해 MSCN은 의미 있는 정확도 향상을 보이며 일반화가 가능하다(95th 백분위 q-error가 증가하더라도 일부 기준값보다 여전히 낮고 이상치도 존재).
• JOB-라이트 워크로드 결과는 MSCN이 학습 제너레이터 외부의 워크로드로 일반화할 수 있음을 시사한다(중앙값 3.82, 95th 백분위 362; 기준선과 경쟁적).
• 모델 비용은 1.6–2.6 MiB로 작고, 추론은 수 밀리초 내에 수행되며 학습은 약 75 에포크 및 실행당 약 39분에 수렴한다.