[論文レビュー] Size Bounds for Conjunctive Queries with General Functional Dependencies

Gregory Valiant, Paul Valiant|ArXiv.org|Sep 10, 2009

Data Management and Algorithms参考文献 23被引用数 4

ひとこと要約

この論文は、一般の関数従属性の下で結合的クエリの最悪ケースサイズバウンドをタイトに導出する情報理論的フレームワークを導入し、従来の色分けに基づく手法を拡張する。変数エントロピーを線形計画法でモデル化することで、結果サイズの増加に関する上界と下界を確立し、非シャノン型情報不等式に関連する根本的なギャップを明らかにし、入力サイズを超えるサイズ増加の有無を多項式時間で判定する手続きを提供する。

ABSTRACT

This paper extends the work of Gottlob, Lee, and Valiant (PODS 2009)[GLV], and considers worst-case bounds for the size of the result Q(D) of a conjunctive query Q to a database D given an arbitrary set of functional dependencies. The bounds in [GLV] are based on a "coloring" of the query variables. In order to extend the previous bounds to the setting of arbitrary functional dependencies, we leverage tools from information theory to formalize the original intuition that each color used represents some possible entropy of that variable, and bound the maximum possible size increase via a linear program that seeks to maximize how much more entropy is in the result of the query than the input. This new view allows us to precisely characterize the entropy structure of worst-case instances for conjunctive queries with simple functional dependencies (keys), providing new insights into the results of [GLV]. We extend these results to the case of general functional dependencies, providing upper and lower bounds on the worst-case size increase. We identify the fundamental connection between the gap in these bounds and a central open question in information theory. Finally, we show that, while both the upper and lower bounds are given by exponentially large linear programs, one can distinguish in polynomial time whether the result of a query with an arbitrary set of functional dependencies can be any larger than the input database.

研究の動機と目的

• 一般の関数従属性の下での結合的クエリの最悪ケースサイズバウンドという未解決問題に取り組み、従来の単一属性関数従属性に限局した研究を拡張すること。
• 変数の色分けがエントロピーを表すという直感を形式化し、情報理論を用いて変数の依存関係とクエリ結果のサイズ増加をモデル化すること。
• 色番号アプローチよりもタイトな、特に複合的関数従属性が存在する状況下での最悪ケース結果サイズの上界と下界を提供すること。
• これらのバウンドのギャップと、情報理論における非シャノン型不等式に関する中心的未解決問題との関連を特定すること。
• 任意の関数従属性のもとで、クエリの結果サイズが入力データベースを上回るかどうかを決定する多項式時間アルゴリズムを開発すること。

提案手法

• 関数従属性によって誘発される依存関係をモデル化するため、関連するエントロピーを持つ確率変数としてクエリ変数を形式化し、情報理論的手法を用いる。
• 関数従属性から導かれる制約のもとで、入力に対してクエリ結果におけるエントロピー増加を最大化する線形計画法を構築する。
• 最大エントロピー増加に基づく新たなバウンドを定義し、従来の色番号アプローチを一般化し、複雑な関数従属性に対応する。
• 変数に色を割り当てる色分けの妥当性を確認するためのSATに基づく定式化を用いる。
• 反復的簡略化手順を用いて、SAT定式化の充足可能性を効率的に特定し、結果サイズが入力サイズを超えるかどうかの多項式時間決定を可能にする。
• 多変量エントロピーと相互情報量の構造を活用して、最悪ケースインスタンスを特徴付け、バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 色番号アプローチは、一般の関数従属性の下で、結合的クエリの最悪ケース結果サイズに対する上界を拡張可能か？
• RQ2 複合的関数従属性が存在する状況下で、色番号と真の最悪ケースサイズ増加との間の根本的ギャップは何か？
• RQ3 エントロピーと相互情報量などの情報理論的ツールを用いることで、結合的クエリのよりタイトで正確なサイズバウンドをどのように導出できるか？
• RQ4 任意の関数従属性を伴う結合的クエリが、入力データベースを上回る結果を生成できるかどうかを決定する多項式時間アルゴリズムは存在するか？
• RQ5 上界と下界のギャップと、非シャノン型情報不等式の存在との関連は何か？

主な発見

• 一般の関数従属性が存在する場合、色番号はもはや最悪ケース結果サイズの上界を保証しなくなる。これは、定数を超えるギャップを示すインスタンスの族によって実証された。
• エントロピー増加を最大化する線形計画法を用いて、色分けの直感を情報理論により形式化し、最悪ケースサイズ増加の上界と下界を確立した。
• 上界と下界のギャップは、情報理論における中心的未解決問題である非シャノン型情報不等式の存在に根本的に関係している。
• 基礎となる線形計画法が指数的サイズを取るにもかかわらず、クエリの結果サイズが入力サイズを超えるかどうかを決定する多項式時間アルゴリズムを提供した。
• 色分けの妥当性をチェックするSATに基づく定式化は、反復的簡略化により効率的に解けるため、サイズ増加の多項式時間決定が可能になった。
• 結果から、相互情報量の和に基づく新たな指標「ニットド複雑度（knitted complexity）」が提案され、現実のデータベースにおける構造的複雑性を捉える可能性がある。