[論文レビュー] FDB: A Query Engine for Factorised Relational Databases

Nurzhan Bakibayev, Dan Olteanu+1 more|arXiv (Cornell University)|Mar 12, 2012

Advanced Database Systems and Queries参考文献 17被引用数 4

ひとこと要約

FDB は、要因分解されたリレーショナルデータベースにおける選択・プロジェクト・ジョインクエリを、コンパクトで代数的に要因分解された表現を用いて高速化するインメモリクエリエンジンである。新規の最適化および評価アルゴリズムを用いてデータの要因分解を活用することで、多数対多数の関係を有するデータセットにおいて、従来のリレーショナルエンジンと比較して最大4桁の性能向上を達成する。

ABSTRACT

Factorised databases are relational databases that use compact factorised representations at the physical layer to reduce data redundancy and boost query performance. This paper introduces FDB, an in-memory query engine for select-project-join queries on factorised databases. Key components of FDB are novel algorithms for query optimisation and evaluation that exploit the succinctness brought by data factorisation. Experiments show that for data sets with many-to-many relationships FDB can outperform relational engines by orders of magnitude.

研究の動機と目的

• 多数対多数の関係に起因するデータの重複が引き起こす従来のリレーショナルデータベースにおける性能ボトルネックを解消すること。
• 新規のインメモリクエリエンジンを設計することで、要因分解されたリレーショナルデータに対する効率的なクエリ処理を可能にすること。
• 要因分解表現のコンパクトさを活用するクエリ最適化および評価アルゴリズムの開発。
• 要因分解表現が複数のクエリ操作にわたってコンパクトさと性能を維持することの実証。
• フラットデータおよび要因分解データを用いた、FDB と従来のリレーショナルデータベースおよび最適化ツールとの性能比較。

提案手法

• FDB は関係を単一属性値の積の和として表現する要因分解木（f-tree）データ構造を用い、コンパクトなストレージと効率的なクエリ処理を実現する。
• エンジンは二段階のアプローチを採用する：fプランによるクエリ最適化（最良の要因分解順序の決定）、および f-tree の再帰的走査による評価。
• 指数的空間に及ぶ可能性のある f-tree 構造を探索するため、完全探索と貪欲ヒューリスティックに基づく最適化ツールの両方をサポートし、最適性と効率性のバランスを図る。
• クエリ評価エンジンは、中間結果を物質化せずにネストされた構造を走査・再構築することで、選択やジョインなどの操作を f-tree 上で直接実行する。
• 積と和の分配法則および可換性を用いて f-tree を再編成し、よりコンパクトな形にすることで評価コストを低減する。
• FDB はフラットデータおよび要因分解データの両方を入力としてクエリを評価し、SQLite や PostgreSQL、および標準の RDBMS エンジンと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 要因分解表現は、従来のリレーショナルエンジンと比較して、クエリ評価時間と結果サイズを著しく短縮できるか？
• RQ2 fプランの品質（つまり、要因分解順序）は FDB におけるクエリ性能にどのように影響するか？
• RQ3 複数のクエリ操作にわたって、要因分解表現のコンパクトさは劣化するか？
• RQ4 f-tree の探索空間における最適性と効率性のトレードオフは何か？
• RQ5 FDB の性能はクエリサイズの増加およびデータの偏りの増大に伴いどのようにスケーリングするか？

主な発見

• FDB は、多数対多数の関係を有するデータセットにおいて、従来のリレーショナルデータベースと比較して最大4桁の高速化を達成する。
• 4つの等価選択までを含むクエリでは、FDB は 5 億個のデータ値を処理しても、結果サイズを 4,000 個のシングルトン未塔にまで削減する。
• 完全探索最適化ツールは最適な fプランを発見するが、クエリサイズに伴い指数関数的にスケーリングする。一方、貪欲ヒューリスティックは 2〜3 桁の高速化を達成し、性能低下は最大 50% にとどまる。
• 要因分解入力データにおいて、FDB はコンパクトな結果を維持し、入力サイズが 1,000 ツプルにまで減少しても、FDB と RDB がともに 0.1 秒未塔で実行される。
• 入力データサイズが 1,000 ツプル未塔にまで低下するまで、FDB と RDB の性能差が縮小するため、FDB の利点は大規模かつ高度に要因分解可能なデータに対して顕著である。
• 実験により、要因分解の質が操作に伴い劣化しないことが確認され、複数のクエリステップにわたってもコンパクト表現の持続可能性が示された。