[논문 리뷰] DeepDB: Learn from Data, not from Queries!

Benjamin Hilprecht, Andreas Schmidt외 4명|arXiv (Cornell University)|2019. 09. 02.

Data Stream Mining Techniques참고 문헌 37인용 수 19

한 줄 요약

DeepDB는 쿼리 워크로드가 아닌 데이터베이스 데이터에 직접 훈련하는 데이터 기반 접근 방식을 제안한다. 이는 깊이 있는 확률적 모델(관계형 합-곱 신경망)을 사용하여 재훈련 없이도 정확하고 일반화 가능한 쿼리 처리, 카디널리티 추정, 기계학습 작업을 가능하게 한다. 데이터 업데이트 후에도 재훈련이 필요 없으며, 워크로드 기반 기준 모델보다 정확도와 효율성에서 수개의 주요 차이를 보인다.

ABSTRACT

The typical approach for learned DBMS components is to capture the behavior by running a representative set of queries and use the observations to train a machine learning model. This workload-driven approach, however, has two major downsides. First, collecting the training data can be very expensive, since all queries need to be executed on potentially large databases. Second, training data has to be recollected when the workload and the data changes. To overcome these limitations, we take a different route: we propose to learn a pure data-driven model that can be used for different tasks such as query answering or cardinality estimation. This data-driven model also supports ad-hoc queries and updates of the data without the need of full retraining when the workload or data changes. Indeed, one may now expect that this comes at a price of lower accuracy since workload-driven models can make use of more information. However, this is not the case. The results of our empirical evaluation demonstrate that our data-driven approach not only provides better accuracy than state-of-the-art learned components but also generalizes better to unseen queries.

연구 동기 및 목표

• 워크로드 기반 훈련의 높은 비용과 취약성을 해결하기 위해, 쿼리 실행 비용이 많이 들고 자주 재훈련이 필요한 학습된 DBMS 컴포넌트의 문제를 해결한다.
• 워크로드에 특화되지 않은 훈련 없이도 공동 데이터 분포를 포괄하고 다양한 작업을 지원하는 데이터 기반 대안을 개발한다.
• 모델 재훈련 없이도 즉각적인 쿼리 처리와 동적 데이터 업데이트를 가능하게 한다.
• 데이터 기반 모델이 정확도와 일반화 능력에서 워크로드 기반 모델을 능가할 수 있는지 평가한다.
• 단일 학습 모델이 재훈련 없이도 쿼리 응답, 카디널리티 추정, 기계학습 작업을 동시에 지원할 수 있는지 보여준다.

제안 방법

• 관계형 합-곱 신경망(Relational Sum-Product Networks, RSPNs)을 사용하여 속성 간 상관관계와 주변 분포를 포함한 공동 데이터 분포를 포괄하는 깊이 있는 확률적 모델을 제안한다.
• SQL 유사 쿼리를 RSPNs의 기대값과 확률에 대해 효율적인 추론을 위해 확률적 쿼리 컴파일 기법을 적용한다.
• 모델을 전체 데이터베이스 데이터에 한 번만 훈련하여 쿼리별 또는 워크로드별 훈련을 방지한다.
• 삽입, 삭제, 업데이트와 같은 직접적인 업데이트를 통해 전체 재훈련 없이도 모델을 점진적으로 조정한다.
• 다양한 쿼리 패턴에 걸쳐 모델의 강건성과 일반화 능력을 향상시키기 위해 앙상블 학습을 활용한다.
• SPNs의 구조를 활용해 복잡한 관계형 스키마에서 효율적인 추론과 확장 가능한 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터베이스 데이터에만 훈련된 데이터 기반 모델이 워크로드 기반 모델보다 카디널리티 추정 정확도에서 뛰어나게 성능을 내는가?
• RQ2 데이터 기반 접근 방식이 워크로드 기반 모델보다 더 나은 일반화 능력을 보이는가?
• RQ3 단일 학습 모델이 재훈련 없이도 쿼리 응답, 카디널리티 추정, 기계학습 작업을 동시에 지원할 수 있는가?
• RQ4 데이터 크기와 스키마 복잡도 증가에 따라 데이터 기반 모델의 성능은 어떻게 변화하는가?
• RQ5 모델이 재훈련 없이 동적 데이터 업데이트를 얼마나 잘 처리할 수 있는가?

주요 결과

• DeepDB는 네 개 이상의 조인을 포함한 미사용 쿼리에서 워크로드 기반 MCSN 모델보다 수개의 주요 차이를 보이는 카디널리티 추정 정확도를 달성한다.
• 데이터 기반 RSPN 모델은 분포 외부 쿼리에서 더 낮은 오차율을 보이며, 워크로드 기반 모델보다 훨씬 더 뛰어난 일반화 능력을 보인다.
• DeepDB는 재훈련 없이도 즉각적인 쿼리 처리와 데이터 업데이트를 지원하면서도 모든 작업에서 높은 정확도를 유지한다.
• 동일한 RSPN 모델은 추가 훈련 시간이 전혀 들지 않음에도 불구하고, 회귀 작업에서 표준 기계학습 모델과 유사한 RMSE 성능을 달성한다.
• DeepDB의 모델 훈련은 3시간 미만으로 한 번만 수행되며, 워크로드 기반 모델이 재훈련을 위해 반복적으로 고비용 쿼리 실행이 필요한 것과는 대조된다.
• 모든 평가 기준 벤치마크에서 DeepDB는 기존 및 최첨단 학습된 DBMS 컴포넌트보다 쿼리 처리 및 카디널리티 추정에서 뛰어난 성능을 보였다.