[논문 리뷰] Zero-Shot Cost Models for Out-of-the-box Learned Cost Prediction

Benjamin Hilprecht, Carsten Binnig|arXiv (Cornell University)|2022. 01. 03.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 타겟 데이터베이스에서 쿼리 실행 없이도 새로운 데이터베이스에 대해 정확한 학습된 비용 추정을 가능하게 하는 제로샷 비용 모델을 소개한다. 사전 훈련된 모델과 이식 가능한 쿼리 표현을 활용하고 데이터베이스별 통계를 학습된 요소와 분리하는 새로운 아키텍처를 통해, 이 접근법은 즉시 최신 기술 수준의 정확도를 달성하며, 최소한의 추가 쿼리 실행을 통해 소수의 테이닝(few-shot fine-tuning)으로 더 높은 정확도를 향상시킬 수 있다.

ABSTRACT

In this paper, we introduce zero-shot cost models which enable learned cost estimation that generalizes to unseen databases. In contrast to state-of-the-art workload-driven approaches which require to execute a large set of training queries on every new database, zero-shot cost models thus allow to instantiate a learned cost model out-of-the-box without expensive training data collection. To enable such zero-shot cost models, we suggest a new learning paradigm based on pre-trained cost models. As core contributions to support the transfer of such a pre-trained cost model to unseen databases, we introduce a new model architecture and representation technique for encoding query workloads as input to those models. As we will show in our evaluation, zero-shot cost estimation can provide more accurate cost estimates than state-of-the-art models for a wide range of (real-world) databases without requiring any query executions on unseen databases. Furthermore, we show that zero-shot cost models can be used in a few-shot mode that further improves their quality by retraining them just with a small number of additional training queries on the unseen database.

연구 동기 및 목표

• 작업 기반 학습된 비용 모델에서 매번 새로운 데이터베이스에 대해 쿼리 실행을 통해 훈련 데이터를 수집하는 데 드는 높은 비용을 해결하기 위해.
• 타겟 데이터베이스에서 어떤 쿼리도 실행하지 않고도 새로운 데이터베이스에 대해 정확한 비용 추정을 가능하게 하기 위해.
• 다양한 데이터베이스와 데이터 특성에 걸쳐 일반화 가능한 모델 아키텍처와 쿼리 표현을 설계하기 위해.
• 데이터베이스별 훈련 없이도 기존의 작업 기반 모델을 초월하는 성능을 보여주기 위해.
• 최소한의 추가 쿼리 실행을 통해 소수의 테이닝(few-shot fine-tuning)을 가능하게 하여 정확도를 추가로 향상시키기 위해.

제안 방법

• 데이터베이스별 통계(예: 테이블 카디널리티)와 쿼리 계획 특징을 분리하는 새로운 모델 아키텍처를 제안하여 이식 가능성을 확보한다.
• 튜플 폭과 연산자 선택도와 같은 데이터베이스에 종속되지 않는 특징을 사용해 쿼리 계획을 인코딩하는 이식 가능한 쿼리 표현을 도입한다.
• 다양한 데이터베이스와 워크로드 코퍼스에서 사전 훈련하여 일반적인 비용 추정 패턴을 학습한다.
• 이식 가능한 쿼리 표현과 데이터베이스 통계를 입력으로 제공함으로써, 사전 훈련된 모델을 새로운, 알려지지 않은 데이터베이스에 대한 제로샷 추정기로 사용한다.
• 새로운 데이터베이스에서 소수의 쿼리 실행을 통해 제로샷 모델을 소수의 테이닝(few-shot fine-tuning) 방식으로 보정하여 정확도를 향상시킨다.
• 데이터 통계를 학습된 구성 요소가 아니라 입력 특징으로 간주함으로써 모델 훈련을 데이터베이스별 데이터에서 분리한다.

실험 결과

연구 질문

• RQ1 학습된 비용 모델이 타겟 데이터베이스에서 어떤 쿼리도 실행하지 않고도 완전히 새로운 데이터베이스에 일반화될 수 있는가?
• RQ2 이식 가능한 쿼리 표현을 갖춘 사전 훈련된 모델이 데이터베이스별 훈련 없이도 다양한 실제 데이터베이스에서 높은 정확도를 달성할 수 있는가?
• RQ3 제로샷 비용 추정의 성능은 광범위한 쿼리 실행을 요구하는 최신 기술 수준의 작업 기반 모델과 비교해 어떻게 되는가?
• RQ4 소수의 테이닝(few-shot fine-tuning)이 제로샷 비용 모델의 정확도를 얼마나 더 향상시킬 수 있는가?
• RQ5 다양한 데이터베이스 간의 제로샷 일반화를 가능하게 하기 위해 필수적인 특징과 표현 기법은 무엇인가?

주요 결과

• 제로샷 비용 모델은 IMDB와 같은 새로운 데이터베이스에서 타겟 데이터베이스에서 쿼리 실행 없이도 최신 기술 수준의 작업 기반 모델보다 더 높은 정확도를 달성한다.
• IMDB 데이터베이스에서 5시간 이상의 쿼리 실행을 통해 훈련된 작업 기반 모델조차도 제로샷 모델이 더 뛰어난 성능을 보인다.
• 새로운 데이터베이스에서 소수의 추가 쿼리 실행을 통해 소수의 테이닝(few-shot fine-tuning)을 수행하면 제로샷 기반 정확도를 초과하는 정확도 향상을 달성할 수 있다.
• 튜플 폭과 연산자 선택도와 같은 특징에 기반한 제안된 이식 가능한 쿼리 표현은 다양한 데이터베이스와 데이터 특성 간의 일반화를 가능하게 한다.
• 모델 아키텍처는 데이터베이스별 통계를 학습된 패턴에서 분리하여 재훈련 없이도 이식 가능성을 성공적으로 달성한다.
• 이 방법은 매번 새로운 데이터베이스나 데이터 업데이트에 대해 반복적으로 비용이 많이 드는 훈련 데이터 수집이 필요 없게 되어, 학습된 비용 모델의 확장 가능한 구현을 가능하게 한다.