[論文レビュー] FactorJoin: A New Cardinality Estimation Framework for Join Queries

Zi‐Niu Wu, Parimarjan Negi+3 more|arXiv (Cornell University)|Dec 11, 2022

Data Management and Algorithms被引用数 4

ひとこと要約

FactorJoin は、単一テーブルの学習された分布と要因グラフ推論を組み合わせることで、効率的かつ正確にジョインクエリ選択的を推定する新しい基数推定フレームワークである。従来の学習手法と比較して、40倍の低遅延、100倍の小さなモデルサイズ、100倍の高速な学習を達成しながら、実世界のベンチマークで最先端の精度を維持または上回っている。

ABSTRACT

Cardinality estimation is one of the most fundamental and challenging problems in query optimization. Neither classical nor learning-based methods yield satisfactory performance when estimating the cardinality of the join queries. They either rely on simplified assumptions leading to ineffective cardinality estimates or build large models to understand the data distributions, leading to long planning times and a lack of generalizability across queries. In this paper, we propose a new framework FactorJoin for estimating join queries. FactorJoin combines the idea behind the classical join-histogram method to efficiently handle joins with the learning-based methods to accurately capture attribute correlation. Specifically, FactorJoin scans every table in a DB and builds single-table conditional distributions during an offline preparation phase. When a join query comes, FactorJoin translates it into a factor graph model over the learned distributions to effectively and efficiently estimate its cardinality. Unlike existing learning-based methods, FactorJoin does not need to de-normalize joins upfront or require executed query workloads to train the model. Since it only relies on single-table statistics, FactorJoin has small space overhead and is extremely easy to train and maintain. In our evaluation, FactorJoin can produce more effective estimates than the previous state-of-the-art learning-based methods, with 40x less estimation latency, 100x smaller model size, and 100x faster training speed at comparable or better accuracy. In addition, FactorJoin can estimate 10,000 sub-plan queries within one second to optimize the query plan, which is very close to the traditional cardinality estimators in commercial DBMS.

研究の動機と目的

• 属性の独立性とジョインキーの均一分布を仮定する古典的手法の限界を解消すること。
• 正規化解除や結合データ上のスケールの大きな学習を必要とする、既存の学習ベース手法の非効率性とスケーラビリティの問題を克服すること。
• クエリ最適化における空間的・時間的オーバーヘッドを最小限に抑えつつ、高い精度を維持する実用的で導入可能なフレームワークを開発すること。
• 生産環境の動的クエリ最適化を支援するため、1秒間に数万件のクエリプランのリアルタイム推定を可能にすること。

提案手法

• 属性相関関係とジョインキー分布を捉えるために、オフライン準備段階で単一テーブルの条件付き分布（例えばベイジアンネットワークや深層生成モデルを用いて）を構築する。
• 各ジョインクエリを学習済み単一テーブル分布上の要因グラフとして表現し、基数推定を確率的推論問題に変換する。
• 計算複雑性を低減するために、境界に基づくビン選択アルゴリズム（GBSA）を用いてジョインキーを効率的に離散化する。
• フィルタープレディケートがジョインキー分布に与える影響をモデル化する条件付き分布を組み込み、正規化解除なしに精度を向上させる。
• 要因グラフのメッセージパッシングを用いて、結合関係の複雑なマルチジョインクエリを扱いやすい推論タスクに分解し、結合関係の完全な物性化を回避する。
• 任意の単一テーブル基数推定器と統合可能であるため、フレームワークはモジュラで拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 単一テーブルの学習統計と要因グラフ推論を組み合わせたフレームワークは、古典的手法やエンドツーエンドの学習手法と比較して、ジョイン基数推定においてより高い精度を達成できるか？
• RQ2 正規化解除と完全なテーブル物性化を回避することで、モデルサイズと学習時間はどの程度削減され、推定品質は維持されるか？
• RQ3 条件付き分布（例：P(join_key | filter)）の統合は、独立性を仮定せずに属性相関関係をどの程度正確に捉えられるか？
• RQ4 1秒間に10,000個のサブプランを推定できるスケーラビリティを有するか？実用的なリアルタイムクエリ最適化を可能にするか？
• RQ5 多様な実世界ワークロードにおいて、精度、遅延、モデルサイズ、学習速度の観点から、最先端の学習手法および古典的手法を上回るか？

主な発見

• FactorJoin は、従来の最先端の学習手法と比較して、推定遅延を40倍低減し、10,000個のサブプランの推定を1秒未満で実現している。
• FactorJoin のモデルサイズは、既存の学習手法と比較して100倍小さく、生産環境での効率的導入を可能にしている。
• 正規化解除や結合分布学習の不要性により、学習速度が100倍高速化されている。
• 境界最適化と条件付き最適化の両方を組み合わせた FactorJoin は、前例となるSOTAである JoinHist と比較して、エンドツーエンドのクエリ最適化時間で45.9%の改善を達成している。
• FactorJoin は、Postgres およびすべての既存のSOTA手法を上回り、多様なワークロードおよびハイパーパramータ設定において、堅牢な性能を示している。
• GBSA ビン選択アルゴリズムは高品質なプランを効果的に生成しており、異なる単一テーブル推定器を用いても、フレームワークは安定的かつ正確に動作している。