[論文レビュー] Worst-Case Optimal Join Algorithms: Techniques, Results, and Open Problems

Hung Q. Ngo|arXiv (Cornell University)|Mar 27, 2018

Data Management and Algorithms参考文献 50被引用数 12

ひとこと要約

本稿は、最悪ケース出力サイズに比例した時間で実行される多項JOINの最適化アルゴリズム（Worst-case Optimal Join, WCOJ）について包括的な概説を提供する。情報理論、組合せ論、およびデータベースクエリ最適化を結びつけ、出力サイズの上限に関する証明を直接効率的なアルゴリズムに変換する方法を示し、特に多面体関数およびエントロピー不等式によるタイトな上限に関する主要な結果を提示する。

ABSTRACT

Worst-case optimal join algorithms are the class of join algorithms whose runtime match the worst-case output size of a given join query. While the first provably worst-case optimal join algorithm was discovered relatively recently, the techniques and results surrounding these algorithms grow out of decades of research from a wide range of areas, intimately connecting graph theory, algorithms, information theory, constraint satisfaction, database theory, and geometric inequalities. These ideas are not just paperware: in addition to academic project implementations, two variations of such algorithms are the work-horse join algorithms of commercial database and data analytics engines. This paper aims to be a brief introduction to the design and analysis of worst-case optimal join algorithms. We discuss the key techniques for proving runtime and output size bounds. We particularly focus on the fascinating connection between join algorithms and information theoretic inequalities, and the idea of how one can turn a proof into an algorithm. Finally, we conclude with a representative list of fundamental open problems in this area.

研究の動機と目的

• クエリの最悪ケース出力サイズと等価な実行時間を持つJOINアルゴリズムの設計という課題に取り組むこと、特に次数制約下での実装を想定する。
• 情報理論、極値的組合せ論、制約充足問題の理論的知見をデータベースクエリ最適化に統合すること。
• 出力サイズの上限に関する数学的証明を体系的に実行可能アルゴリズムに変換する方法を示すこと。
• WCOJアルゴリズムにおける根本的な未解決問題、すなわち計算複雑性、実用性、および平均ケース・インスタンス最適化設定への拡張に関する特定と形式化すること。

提案手法

• 特にエントロピー関数および多面体関数を用いた情報理論的不等式を用いて、最悪ケース出力サイズのタイトな上界を導出する。
• これらの不等式の証明手順を、PANDAアルゴリズムのように各ステップがデータ処理フェーズに対応する具体的なアルゴリズム骨格に変換する。
• 変数の消去および木分解の概念を用いて、中間結果の成長を最小限に抑えるクエリプランの構造を整える。
• 次数制約（関数的依存関係や基数制約を含む）を活用して、出力サイズの上限を精緻化し、アルゴリズム設計を支援する。
• 多面体関数の上限を線形計画問題として定式化し、与えられた制約下で最もタイトな最悪ケースサイズ推定値を計算する。
• 制約の変更というアイデアを導入して上限を単純化し、アルゴリズムの効率を向上させる。これは命題5.2で形式化されている。

実験結果

リサーチクエスチョン

• RQ1 既知のタイトなエントロピー上限は一般に計算可能であるか、それとも決定不能であるか？
• RQ2 多面体関数の上限を計算する計算複雑性は何か？ また、広範なクエリおよび制約クラスに対して効率的に計算可能か？
• RQ3 多面体関数の上限をより広いクエリおよび次数制約のクラスに対してタイトに保てるか？ これにより、大きな多項対数的要因を伴わないWCOJアルゴリズムが可能になるか？
• RQ4 PANDAに見られる多項対数的オーバーヘッドを伴わずに、多面体関数の上限に到達するより高速なWCOJアルゴリズムを設計可能か？
• RQ5 インスタンス最適性および平均ケース出力サイズの上限を、実用的なクエリ最適化のために形式化し、計算可能か？

主な発見

• 次数制約下での連言クエリの最悪ケース出力サイズは、多面体関数の上限によってタイトに束縛され、これは線形計画問題として計算可能である。
• 多くの場合、多面体関数の上限と等価であるエントロピー上限はタイトであるが、一般には決定不能である可能性があり、根本的な未解決問題を呈する。
• PANDAアルゴリズムは、エントロピー不等式の証明手順をデータ処理ステップに変換することで、多項対数的要因の範囲内で最悪ケース最適な性能を達成する。
• WCOJアルゴリズムの実行時間は、Õ(|D| + sup_D⊨DC |Q(D)|) で上限が与えられ、最悪ケース出力サイズと一致する。この上限は情報理論的証明技法によって導出される。
• 特定の木分解や次数パターンを持つクエリおよび制約のクラスについては、クエリの複雑さに対して多項式時間で多面体関数の上限が計算可能である。
• 証明構造とアルゴリズムの間の関係により、体系的なアプローチが可能になる。つまり、サイズ上限の証明をコンパイルすることで実行可能なアルゴリズムが得られ、表2の段階的翻訳例がその好例である。