[論文レビュー] Learned Cardinalities: Estimating Correlated Joins with Deep Learning

Andreas Kipf, Thomas Kipf+4 more|arXiv (Cornell University)|Sep 3, 2018

Data Management and Algorithms参考文献 30被引用数 162

ひとこと要約

要約: 本論文は、多重集合畳み込みネットワーク MSCN を導入し、基数推定のための結合クロス相関を予測する学習を行い、材料化サンプル信号を組み合わせ、IMDb データに対してベースラインを上回るロバストな改善を示す。競争力のある中央値精度と、難易度の高い 0-tuple シナリオでの強力な性能を示す。

ABSTRACT

We describe a new deep learning approach to cardinality estimation. MSCN is a multi-set convolutional network, tailored to representing relational query plans, that employs set semantics to capture query features and true cardinalities. MSCN builds on sampling-based estimation, addressing its weaknesses when no sampled tuples qualify a predicate, and in capturing join-crossing correlations. Our evaluation of MSCN using a real-world dataset shows that deep learning significantly enhances the quality of cardinality estimation, which is the core problem in query optimization.

研究の動機と目的

• 複雑で相関のある結合に対する Cardinality 推定の改善を動機づけ、クエリ最適化を支援する。
• 集合ベースのクエリ表現とサンプリング信号を活用して結合相関を捉えるニューラルモデルを提案する。
• 従来のサンプリングベース手法が失敗しやすい 0-tuple 状況における誤差を低減する。
• 見慣れない結合順序や JOB ラインのクエリを含むワークロードにも対して MSCN の頑健性と一般化能力を示す。

提案手法

• クエリを three sets: tables, joins, predicates として表現し、要素ごとに one-hot encodings と任意の sampling bitmaps を用意する。
• MSCN を導入し、各セットの要素ごとに MLP 表現を計算し、それらを平均化して結果を連結し、最終出力 MLP を通して cardinality を予測する。
• targets を対数変換で正規化し [0,1] にマッピングする；Adam オプティマイザを用いて mean q-error を最小化するように訓練する。
• 学習データを材料化された基底テーブルのサンプル情報（カウントとビットマップ）で拡充し、結合横断相関の学習を支援する。
• スキーマとデータから生成した合成クエリで訓練し、次に合成、スケール、および JOB-light ワークロードで評価して一般化を検証する。

実験結果

リサーチクエスチョン

• RQ1 相関結合を持つクエリの Cardinality を集合ベースのディープラーニングモデルで正確に推定できるか。
• RQ2 材料化されたサンプル情報（カウント/ビットマップ）の組み込みは推定を改善するか。特に 0-tuple の場合に効果は高いか。
• RQ3 訓練データとは異なる unseen の結合順序やワークロードにどれほど一般化できるか。
• RQ4 モデルサイズ・訓練コスト・予測レイテンシのトレードオフはどうなるか。

主な発見

• MSCN は IBJS に対して中央値の q-error で競争力を持ち、合成ワークロードで分布末尾の精度を大幅に改善する（例: median q-error が MSCN 1.18 に対して IBJS が 1.09）。
• 0-tuple シナリオでは、MSCN は純粋なサンプリングベースの手法を劇的に上回る（例: MSCN median 2.94、PostgreSQL 4.78、Random Sampling 9.13）。
• ビットマップとサンプルカウントを追加することで基底テーブルと結合の推定が改善され、構成ごとに 95th/99th パーセンタイルの q-error が大幅に低下。
• より多くの結合に対する一般化が可能：MSCN は訓練時に見られなかった 3 組および 4 組のクエリでも意味のある精度向上を示す（例: 95th パーセンタイル q-error が増加するが、いくつかのベースラインを大幅に下回り、外れ値も存在する）。
• JOB-light の結果は、MSCN が訓練生成器の外部のワークロードにも一般化できることを示唆（中央値 3.82、95th パーセンタイル 362；ベースラインと競合的）。
• モデルコストは控えめ（1.6–2.6 MiB）、推論は数ミリ秒で、訓練は約 75 パス、各実行約 39 分で収束する。