[論文レビュー] Beyond Equi-joins: Ranking, Enumeration and Factorization

Nikolaos Tziavelis, Wolfgang Gatterbauer+1 more|arXiv (Cornell University)|Jan 28, 2021

Game Theory and Voting Systems参考文献 65被引用数 4

ひとこと要約

本稿では、不等式を含むtheta-joinに対する強力な理論的保証を備えた最初のランク付き列挙アルゴリズムを提示する。新規のO(n polylog n)サイズの要約表現（TLFG）を用いて、トップ-k結果の効率的かつ段階的な取得を可能にした。この手法は、出力サイズがn^ℓであっても、無効な完全joinに対してO(n polylog n + k log k)の時間計算量を達成し、最適解の多項対数的要因以内である。また、実際のベンチマークにおいて、最先端のDBMSを桁違いに上回る性能を発揮した。

ABSTRACT

We study theta-joins in general and join predicates with conjunctions and disjunctions of inequalities in particular, focusing on ranked enumeration where the answers are returned incrementally in an order dictated by a given ranking function. Our approach achieves strong time and space complexity properties: with $n$ denoting the number of tuples in the database, we guarantee for acyclic full join queries with inequality conditions that for every value of $k$, the $k$ top-ranked answers are returned in $\mathcal{O}(n \operatorname{polylog} n + k \log k)$ time. This is within a polylogarithmic factor of $\mathcal{O}(n + k \log k)$, i.e., the best known complexity for equi-joins, and even of $\mathcal{O}(n+k)$, i.e., the time it takes to look at the input and return $k$ answers in any order. Our guarantees extend to join queries with selections and many types of projections (namely those called "free-connex" queries and those that use bag semantics). Remarkably, they hold even when the number of join results is $n^\ell$ for a join of $\ell$ relations. The key ingredient is a novel $\mathcal{O}(n \operatorname{polylog} n)$-size factorized representation of the query output, which is constructed on-the-fly for a given query and database. In addition to providing the first non-trivial theoretical guarantees beyond equi-joins, we show in an experimental study that our ranked-enumeration approach is also memory-efficient and fast in practice, beating the running time of state-of-the-art database systems by orders of magnitude.

研究の動機と目的

• 不等式条件を含むtheta-joinにおけるランク付き列挙の理論的時間・空間計算量の保証の欠如に対処すること。
• 中間的または最終的な出力サイズが大きいか（例：ℓ個の関係に対してn^ℓ）、最小遅延でトップ-k結果を段階的に返すアルゴリズムを設計すること。
• 等価joinにとどまらず、複雑な述語（不等式の論理積・論理和を含む）を扱えるように、要約データベース表現を拡張してランク付き列挙を可能にすること。
• 最悪のデータスケイウィングや大規模出力状況下でも、理論的下界O(n + k)に近い性能を達成すること。
• 実データおよび合成データを用いた広範な実験を通じて、実用的効率性とスケーラビリティを実証すること。

提案手法

• 共通範囲とパーティショニング戦略を用いて、クエリ結果をコンパクトに符号化する新規の要約表現であるTuple-List Factor Graph（TLFG）を導入する。
• 二分またはマルチウェイのパーティショニング方式を用いて、再帰的にjoin空間を分解し、効率的な列挙とランク付けを可能にする。
• 不等式述語における推移性を活用する共通範囲抽象化を用い、冗長性を低減し、要約の効率を向上させる。
• 各結果が前処理後O(log k)時間で生成される優先度キューに基づく列挙戦略を採用し、ランク順にトップ-k結果を取得する。
• 与えられたクエリとデータベースに対して、TLFG表現をオンザフライで構築し、O(n polylog n)の空間効率を確保する。
• 選択およびさまざまな投影（例：free-connexおよびbagセマンティクス）をサポートするため、要約と列挙ロジックを適宜調整する。

実験結果

リサーチクエスチョン

• RQ1 不等式述語を含むアセイクルフルtheta-joinのランク付き列挙において、近似的に最適な時間計算量O(n polylog n + k log k)を達成できるか？
• RQ2 複雑なtheta-joinに対して効率的なランク付き列挙を可能にしつつ、O(n)の多項対数的要因以内の空間計算量を維持できる要約表現を設計できるか？
• RQ3 実世界のワークロードにおいて、クエリサイズ、join選択性、band-join範囲の増加に伴うスケーリング特性はいかがなものか？
• RQ4 全join結果を事前に物性化してからトップ-kフィルタリングを適用する従来のDBMSを凌駆できるか？
• RQ5 要約表現を等価joinにとどまらず、一般のtheta-joinにまで拡張する理論的・実用的限界は何か？

主な発見

• 提案手法は、不等式条件を含むアセイクルフルtheta-joinに対して、O(n polylog n + k log k)の時間計算量を達成した。これは理論的下界O(n + k)の多項対数的要因以内である。
• TLFG要約表現はオンザフライで構築され、O(n polylog n)の空間を要し、全出力サイズがℓ個の関係に対してn^ℓであっても、効率的なアクセスを可能にする。
• 実験では、最先端の商用およびオープンソースDBMS（例：PostgreSQL）を、実行時間において桁違いに上回った。特にkが小さい場合に顕著であった。
• RedditTitlesおよびOceaniaBirdsデータセットを用いた実験では、クエリサイズ、band-join範囲、ドメインサイズの変動に対しても、安定した性能を示し、連続する結果間の遅延が低かった。
• 本手法は、選択やfree-connex投影を含む幅広いクエリをサポートし、データスケイウィング下でも強い理論的保証を維持した。
• TLFG抽象化は、従来の範囲木やパーティショニング手法を一般化し、特に論理和や複雑な不等式述語の処理において優れた性能を発揮した。