[論文レビュー] Improved Cardinality Estimation by Learning Queries Containment Rates

Rojeh Hayek, Oded Shmueli|arXiv (Cornell University)|Aug 21, 2019

Advanced Database Systems and Queries参考文献 43被引用数 10

ひとこと要約

本稿では、特定のデータベース上でクエリコンponentの学習済みベクトル表現を用いて、SQLクエリ間の包含率を推定する深層学習ベースの新規手法CRNを提案する。これらの包含率を活用することで、従来のMSCNと比較して5ジョインクエリで最大1,650倍の精度向上を達成するなど、カーディナリティ推定を顕著に改善し、モデル再訓練を必要としない堅牢で即時適用可能なソリューションを提供する。

ABSTRACT

The containment rate of query Q1 in query Q2 over database D is the percentage of Q1's result tuples over D that are also in Q2's result over D. We directly estimate containment rates between pairs of queries over a specific database. For this, we use a specialized deep learning scheme, CRN, which is tailored to representing pairs of SQL queries. Result-cardinality estimation is a core component of query optimization. We describe a novel approach for estimating queries result-cardinalities using estimated containment rates among queries. This containment rate estimation may rely on CRN or embed, unchanged, known cardinality estimation methods. Experimentally, our novel approach for estimating cardinalities, using containment rates between queries, on a challenging real-world database, realizes significant improvements to state of the art cardinality estimation methods.

研究の動機と目的

• 複数のジョインを含む複雑なクエリにおいて顕著な不正確なカーディナリティ推定という重要な課題に対処すること。
• 特定のデータベース上での1つのクエリの結果タプルが他方のクエリの結果に占める割合として定義される、新たな指標「包含率」を導入すること。
• テーブル、ジョイン、述語から成るクエリ表現を学習し、包含率を正確に推定できる深層学習モデルCRNを開発すること。
• 包含率推定が、元のカーディナリティ推定手法を変更せずに顕著に改善できることを実証すること。
• IMDbのような実世界のデータベースにおけるクエリオプティマイザのパフォーマンス向上を実用的かつ低コストで実現するフレームワークを提供すること。

提案手法

• CRNは各クエリを3つのセットに符号化する：テーブル（T）、ジョイン（J）、カラム述語（P）、それぞれが学習可能なベクトルとして表現される。
• モデルはT、J、Pの埋め込みをアテンション機構を用いて統合し、1つのクエリ表現ベクトルを生成する。
• 2つのクエリ間の包含率は、学習済み表現ベクトル間の距離を測定することで、特別に設計されたニューラルネットワーク層を用いて推定される。
• 本手法は3段階のフレームワークを採用する：(1) CRNを用いて包含率を推定し、(2) その包含率を基にカーディナリティ推定値を精緻化し、(3) 元の推定器を変更せずに統合する。
• 再帰的分解と集合論的推論を用いて、複雑な述語、文字列等価（ハッシュ化により）、EXCEPT、UNION、OR演算子に対しても拡張可能である。
• 動的データベースでは、更新されたスキーマとデータに伴うインクリメンタルな再トレーニングまたは完全再トレーニングが可能であり、将来のスキーマ変更に対応するためのプレースホルダを備えている。

実験結果

リサーチクエスチョン

• RQ1 特定のデータベース上でのクエリ間の包含率を学習することで、カーディナリティ推定の精度が向上するか？
• RQ2 提案手法であるCRNモデルは、包含率およびカーディナリティ推定において、最先端の手法と比較してどのように差をつけるか？
• RQ3 包含率推定は、複数ジョインを含むクエリにおいて、カーディナリティ推定誤差をどの程度低減できるか？
• RQ4 既存のカーディナリティ推定モデルは、包含率に基づくフレームワークに埋め込むことで改善可能か？
• RQ5 CRNモデルは、文字列述語、IN、BETWEEN、および集合演算子を含む複雑なSQL構文をどの程度効果的にサポートできるか？

主な発見

• 提案手法は、PostgreSQLと比較して4ジョインクエリで最大150倍、MSCNと比較して175倍のカーディナリティ推定精度向上を達成した。
• 5ジョインクエリでは、MSCNと比較して1,650倍、PostgreSQLと比較して120倍のカーディナリティ推定精度向上を達成した。
• 包含率推定は、クエリが解析的に包含関係にない場合でも、データ固有の相関に起因して顕著に有効であることが示された。
• 包含率を用いた推定フレームワークを用いることで、任意の既存のカーディナリティ推定器を改善可能であり、3段階のプロセスで包含率を活用して推定値を精緻化する。
• CRNモデルは再帰的分解と集合演算を用いることで、UNION、EXCEPT、OR条件を含む複雑なクエリに対しても良好に一般化できる。
• インクリメンタルな再トレーニングとスキーマの進化をサポートするプレースホルダを備えることから、動的データベースに対しても実用的である。