[論文レビュー] Skew Strikes Back: New Developments in the Theory of Join Algorithms

Hung Q. Ngo, Christopher Ré+1 more|arXiv (Cornell University)|Oct 12, 2013

Data Management and Algorithms参考文献 42被引用数 24

ひとこと要約

本論文は、データスケューと伝統的な「1回に1つのジョイン」実行の再考を通じて、証明可能なタイトな実行時間境界を達成する、最悪ケース最適なジョインアルゴリズムの理論的枠組みを提示する。幾何的境界（例：AGM不等式）とアルゴリズム設計を統合し、現代のジョインアルゴリズムが三角形クエリにおいて$O(N^{3/2})$の漸近的出力サイズ境界に一致できることを示し、すべての連言的クエリへ一般化可能であることを示している。

ABSTRACT

Evaluating the relational join is one of the central algorithmic and most well-studied problems in database systems. A staggering number of variants have been considered including Block-Nested loop join, Hash-Join, Grace, Sort-merge for discussions of more modern issues). Commercial database engines use finely tuned join heuristics that take into account a wide variety of factors including the selectivity of various predicates, memory, IO, etc. In spite of this study of join queries, the textbook description of join processing is suboptimal. This survey describes recent results on join algorithms that have provable worst-case optimality runtime guarantees. We survey recent work and provide a simpler and unified description of these algorithms that we hope is useful for theory-minded readers, algorithm designers, and systems implementors.

研究の動機と目的

• 三角形クエリのようなクエリにおいて、理論的境界よりもタイトな$\Omega(N^2)$時間で実行される伝統的なデータベースジョイン処理の長年の非効率性を是正すること。
• AGMやBollobás-Thomasonなどの幾何的不等式と結びつけることで、最悪ケース最適なジョインアルゴリズムの理論を統一的かつ簡素化すること。
• ジョインを1回に1つずつ処理するというデータベースの教条を疑問視し、ジョイン・プロジェクション計画が最適アルゴリズムよりも漸近的に遅くなることを示すこと。
• データスケューと基数スケューを効果的に処理できる、効率的で証明可能な最適なジョインアルゴリズムを設計するための新しい理論的基盤を提供すること。
• 最悪ケース複雑性を超えた適応的かつ入力に敏感なジョインアルゴリズムの研究分野を新たに開拓すること。

提案手法

• ハイパーグラフおよび幾何的不等式に基づいて導出された、任意の連言的クエリの出力サイズの理論的上限としてのAGM（Atserias-Grohe-Marx）境界を活用する。
• NPRRとLeapfrog Triejoinを一般化する統一的アルゴリズムフレームワークを導入し、選択とジョイン操作を動的にバランスさせることでスケューを回避するジョイン計算方法を採用する。
• アルゴリズム3における再帰的かつ変数順序を最適化する戦略により、等価ジョインをAGM境界に一致する形で計算する。主なステップとして、各属性部分集合に対して$\pi_J(R_F \bowtie \mathbf{a})$の計算を含む。
• Loomis-Whitney不等式およびその離散版を用いて、ジョイン結果の数に対するタイトな境界を導出し、最悪ケース最適なパフォーマンスを実現する。
• NPRRやLeapfrog Triejoinが、均一な関係サイズを持つ$n$-アリティクエリに対して$O(N^{1+1/(n-1)})$時間で実行可能な一般フレームワークの具体例であることを示す。
• 特定のクエリ（例：$LW_n$）において、いかなるジョイン・プロジェクション計画も漸近的に最適より悪いことを証明し、下界として$\Omega(N^{2}/n^2)$を示す。一方で、最適アルゴリズムは$O(N^{1+1/(n-1)})$を達成する。

実験結果

リサーチクエスチョン

• RQ1 すべての連言的クエリに対して、AGM境界が出力サイズに一致する最悪ケース最適な実行時間を持つジョインアルゴリズムを設計できるか？
• RQ2 なぜ、2項ジョイン計画を用いる伝統的なデータベースシステムは、三角形クエリのような特定のクエリにおいて非効率的になるのか？
• RQ3 AGMやBollobás-Thomasonなどの幾何的不等式をどのようにして、ジョイン結果サイズのタイトな境界を導出し、正当化するのに用いることができるか？
• RQ4 クエリの構造的側面と基数的側面をどの程度統一的に扱うことで、より効率的なジョインアルゴリズムを設計できるか？
• RQ5 入力インスタンスの「難易度」に応じてパフォーマンスが変化する適応的ジョインアルゴリズムを設計することは可能か？

主な発見

• 三角形クエリは$O(N^{3/2})$時間で評価可能であり、出力サイズのタイトな漸近的境界に一致し、証明可能な最適性を達成する。
• 三角形クエリのような特定のクエリにおいて、2項ジョイン計画を用いる伝統的なデータベースシステムは、最適なアルゴリズムよりも漸近的に遅く、$LW_n$クエリでは$\Omega(N^2/n^2)$時間が必要である一方、最適アルゴリズムは$O(N^{1+1/(n-1)})$を達成する。
• NPRRアルゴリズムとLeapfrog Triejoinが、スケューを知的な属性順序付けによって回避する一般フレームワークの具体例であることが示された。
• $n$個の関係がすべてサイズ$N$である$LW_n$クエリにおいて、AGM境界$\prod_{i=1}^n |R_i|^{1/(n-1)}$はタイトであり、最適アルゴリズムがこの境界に一致する。
• 任意のジョイン・プロジェクション計画が、最良の可能なアルゴリズムよりも多項式因子の分だけ漸近的に遅くなるクエリが存在し、非伝統的な実行戦略の必要性を示している。
• ジョインクエリのサイズ境界と幾何的不等式（例：Loomis-Whitney、Bollobás-Thomason）との間の関係が正式に確立され、同等性が示され、理論的理解が深められた。