[論文レビュー] Computing Join Queries with Functional Dependencies

Mahmoud Abo Khamis, Hung Q. Ngo+1 more|arXiv (Cornell University)|Apr 1, 2016

Advanced Graph Theory Research参考文献 23被引用数 5

ひとこと要約

この論文は、関数的依存関係（FD）を考慮したジョインクエリの計算のための新しいアルゴリズムを提示する。このアルゴリズムは、GLVV境界に多項対数因子の範囲内で実行され、境界がタイトな場合には最悪計算量最適となる。この手法はラティス理論を活用し、変数の部分集合をFD下での閉集合に置き換えることで、多項マトリオイドに基づく境界の証明を実行可能なアルゴリズムに変換する。さらに、FDを超えた次数制約（例：基数制約）も処理可能である。

ABSTRACT

Recently, Gottlob, Lee, Valiant, and Valiant (GLVV) presented an output size bound for join queries with functional dependencies (FD), based on a linear program on polymatroids. GLVV bound strictly generalizes the bound of Atserias, Grohe and Marx (AGM) for queries with no FD, in which case there are known algorithms running within AGM bound and thus are worst-case optimal. A main result of this paper is an algorithm for computing join queries with FDs, running within GLVV bound up to a poly-log factor. In particular, our algorithm is worst-case optimal for any query where the GLVV bound is tight. As an unexpected by-product, our algorithm manages to solve a harder problem, where (some) input relations may have prescribed maximum degree bounds, of which both functional dependencies and cardinality bounds are special cases. We extend Gottlob et al. framework by replacing all variable subsets with the lattice of closed sets (under the given FDs). This gives us new insights into the structure of the worst-case bound and worst-case instances. While it is still open whether GLVV bound is tight in general, we show that it is tight on distributive lattices and some other simple lattices. Distributive lattices capture a strict superset of queries with no FD and with simple FDs. We also present two simpler algorithms which are also worst-case optimal on distributive lattices within a single-$\log$ factor, but they do not match GLVV bound on a general lattice. Our algorithms are designed based on a novel principle: we turn a proof of a polymatroid-based output size bound into an algorithm.

研究の動機と目的

• 従来の境界が失敗する関数的依存関係下でのジョインクエリに対して、最悪計算量最適なアルゴリズムを開発すること。
• AGMおよびGLVV境界を、FDを超えた次数制約（例：基数制約）に対しても拡張すること。
• ラティス理論的構造を用いて、関数的依存関係と次数制約を統一的に取り扱うこと。
• GLVV境界が分配的ラティスおよび特定の単純ラティス上でタイトであることを示すこと。
• 理論的境界を実用的で効率的なクエリ処理に変換する汎用アルゴリズムを設計すること。

提案手法

• 与えられた関数的依存関係下での閉集合のラティスを、標準の変数部分集合ラティスに置き換えることで、クエリの意味をより正確にモデル化する。
• 多項マトリオイド上の線形計画法を用い、それを閉集合のラティスに拡張することで、最悪出力サイズの境界を導出する。
• 多項マトリオイドの不等式の証明を再帰的規則の適用によってクエリ実行戦略に変換する、新規のアルゴリズムCSMAを設計する。
• ネットフロー制約を用いた双対解法フレームワークを導入し、再帰的実行中に枝刈りを効率的かつ正しく行う。
• 目的関数値の乗法的減少を伴う分岐戦略を適用し、再帰の深さを指数関数的に減少させる。
• 関係を対数次数のバケットに分割し、テーブルサイズのバランスを保つことで、次数制約を効率的に処理する。

実験結果

リサーチクエスチョン

• RQ1 関数的依存関係を含むクエリに対して、GLVV境界に多項対数因子の範囲で収まるジョインクエリアルゴリズムを設計できるか？
• RQ2 AGMの場合を除く、特定のクラスのラティスにおいてGLVV境界がタイトであるか？
• RQ3 アルゴリズムは関数的依存関係に加え、入力関係の任意の次数制約も処理できるか？
• RQ4 多項マトリオイドの不等式の証明を体系的に実行可能なクエリ実行アルゴリズムに変換できるか？
• RQ5 アルゴリズムの複雑度はGLVV境界に対してどの程度か？また、特殊な場合に多項対数因子を小さくできるか？

主な発見

• 提案されたアルゴリズムは、時間計算量O(N + (log N)^e * 2^OPT)で実行され、OPTがGLVV線形計画法の最適値であるため、GLVV境界に多項対数因子の範囲で達する。
• GLVV境界がタイトな任意のクエリに対して、アルゴリズムは最悪計算量最適である。これは分配的ラティス上のクエリを含む。
• GLVV境界が分配的ラティスおよび特定の単純ラティス上でタイトであることが証明され、既知のタイト境界の適用範囲が拡張された。
• アルゴリズムのより単純な変種は、分配的ラティス上で単一の対数因子の範囲で最悪計算量最適であるが、一般のラティスではGLVV境界に一致しない。
• このフレームワークは、入力関係に事前に指定された最大次数制約を処理できるように一般化され、FDと基数制約の両方を包含する。
• 核心的な洞察である「多項マトリオイド不等式の証明をクエリ実行アルゴリズムに変換する」というアイデアは、最悪計算量最適なクエリ計画を設計するための新しいパラダイムを提供する。