[論文レビュー] Zero-Shot Cost Models for Out-of-the-box Learned Cost Prediction

Benjamin Hilprecht, Carsten Binnig|arXiv (Cornell University)|Jan 3, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

この論文は、ターゲットデータベースでのクエリ実行を必要とせず、未観測のデータベースに対しても正確な学習済コスト推定を可能にするゼロショットコストモデルを導入する。事前学習済みモデルと移譲可能なクエリ表現、およびデータベース固有の統計を分離する新しいアーキテクチャを活用することで、出荷時から最先端の正確性を達成し、最小限の追加クエリを用いた少数ショットファインチューニングによりさらなる精度向上が可能となる。

ABSTRACT

In this paper, we introduce zero-shot cost models which enable learned cost estimation that generalizes to unseen databases. In contrast to state-of-the-art workload-driven approaches which require to execute a large set of training queries on every new database, zero-shot cost models thus allow to instantiate a learned cost model out-of-the-box without expensive training data collection. To enable such zero-shot cost models, we suggest a new learning paradigm based on pre-trained cost models. As core contributions to support the transfer of such a pre-trained cost model to unseen databases, we introduce a new model architecture and representation technique for encoding query workloads as input to those models. As we will show in our evaluation, zero-shot cost estimation can provide more accurate cost estimates than state-of-the-art models for a wide range of (real-world) databases without requiring any query executions on unseen databases. Furthermore, we show that zero-shot cost models can be used in a few-shot mode that further improves their quality by retraining them just with a small number of additional training queries on the unseen database.

研究の動機と目的

• ワークロード駆動型の学習済コストモデルにおいて、新しいデータベースごとにクエリ実行によるトレーニングデータ収集にかかる高コストを解消すること。
• ターゲットデータベースでのクエリ実行なしに、未観測のデータベースに対しても正確なコスト推定を可能にすること。
• 多様なデータベースおよびデータ特性に一般化可能なモデルアーキテクチャとクエリ表現を設計すること。
• データベース固有のトレーニングが一切不要な状態でも、ゼロショットコストモデルが既存のワークロード駆動型モデルを上回ることを示すこと。
• 最小限の追加クエリ実行で、さらなる精度向上が可能な少数ショットファインチューニングを可能にすること。

提案手法

• データベース固有の統計（例：テーブルのカーディナリティ）とクエリプラン特徴量を分離する新しいモデルアーキテクチャを提案し、移譲性を実現する。
• タプル幅やオペレータ選択性といったデータベースに依存しない特徴を用いてクエリプランを符号化する移譲可能なクエリ表現を導入する。
• 多様なデータベースとワークロードのコーパスでモデルを事前学習し、一般化されたコスト推定パターンを学習する。
• 移譲可能なクエリ表現とデータベース統計を入力として与えることで、新しい未観測データベースに対して事前学習済みモデルをゼロショット推定器として使用する。
• 新しいデータベースで少数のクエリ実行を用いてゼロショットモデルをファインチューニングし、少数ショットモードでの精度向上を図る。
• データ統計を学習済みコンponentsではなく入力特徴として扱うことで、モデルトレーニングとデータベース固有のデータを分離する。

実験結果

リサーチクエスチョン

• RQ1 学習済コストモデルは、ターゲットデータベースでのクエリ実行なしに、まったく未観測のデータベースに一般化可能か？
• RQ2 移譲可能なクエリ表現を有する事前学習済みモデルは、データベース固有のトレーニングなしに、多様な実世界のデータベースで高い正確性を達成可能か？
• RQ3 ゼロショットコスト推定の性能は、膨大なクエリ実行を要する最先端のワークロード駆動型モデルと比べてどうか？
• RQ4 少数ショットファインチューニングは、ゼロショットコストモデルの正確性をどの程度さらに向上可能か？
• RQ5 データベース間でのゼロショット一般化を可能にするために、どのような特徴と表現技術が不可欠か？

主な発見

• ゼロショットコストモデルは、ターゲットデータベースでのクエリ実行なしに、IMDBのような未観測データベースにおいても、最先端のワークロード駆動型モデルを上回る正確性を達成する。
• IMDBデータベースに対して5時間以上のクエリ実行を要するワークロード駆動型モデルですら、ゼロショットモデルに劣る。
• 未観測データベースで少数の追加クエリを用いた少数ショットファインチューニングにより、ゼロショットベースラインを上回る推定正確性がさらに向上する。
• タプル幅やオペレータ選択性といった特徴に基づく本研究の移譲可能なクエリ表現は、多様なデータベースおよびデータ特性にわたる一般化を可能にする。
• モデルアーキテクチャは、データベース固有の統計と学習済みパターンを効果的に分離しており、再トレーニングなしに移譲性を実現している。
• 本アプローチにより、新しいデータベースやデータ更新ごとに繰り返し高価なトレーニングデータ収集を実施する必要がなくなり、学習済コストモデルのスケーラブルな展開が可能になる。