[論文レビュー] It's all a matter of degree: Using degree information to optimize multiway joins

Manas Joglekar, Christopher Ré|arXiv (Cornell University)|Aug 5, 2015

Advanced Database Systems and Queries参考文献 6被引用数 4

ひとこと要約

本稿では、属性値の次数に基づいて関係を分割することで、マルチウェイ等価結合を最適化する前処理技術「degree-uniformization」を導入する。次数情報を活用することで、出力サイズの上限をAGMより最大95倍まで厳しく抑え、データ複雑性の指数を改善した非二次時間オーダーの結合アルゴリズム、およびMapReduceにおける最適な通信量を達成する。これらはすべて線形時間の次数統計情報のみを用いる。

ABSTRACT

We optimize multiway equijoins on relational tables using degree information. We give a new bound that uses degree information to more tightly bound the maximum output size of a query. On real data, our bound on the number of triangles in a social network can be up to $95$ times tighter than existing worst case bounds. We show that using only a constant amount of degree information, we are able to obtain join algorithms with a running time that has a smaller exponent than existing algorithms--{\em for any database instance}. We also show that this degree information can be obtained in nearly linear time, which yields asymptotically faster algorithms in the serial setting and lower communication algorithms in the MapReduce setting. In the serial setting, the data complexity of join processing can be expressed as a function $O(\IN^x + \OUT)$ in terms of input size $\IN$ and output size $\OUT$ in which $x$ depends on the query. An upper bound for $x$ is given by fractional hypertreewidth. We are interested in situations in which we can get algorithms for which $x$ is strictly smaller than the fractional hypertreewidth. We say that a join can be processed in subquadratic time if $x < 2$. Building on the AYZ algorithm for processing cycle joins in quadratic time, for a restricted class of joins which we call $1$-series-parallel graphs, we obtain a complete decision procedure for identifying subquadratic solvability (subject to the $3$-SUM problem requiring quadratic time). Our $3$-SUM based quadratic lower bound is tight, making it the only known tight bound for joins that does not require any assumption about the matrix multiplication exponent $ω$. We also give a MapReduce algorithm that meets our improved communication bound and handles essentially optimal parallelism.

研究の動機と目的

• 既存の最悪計算量最適結合アルゴリズムにおけるギャップを埋めるために、次数統計情報を組み込むことで実行時間と通信複雑性を改善すること。
• 特にソーシャルネットワークのような偏りのあるデータに対して、次数情報を用いたよりタイトなマルチウェイ等価結合の最大出力サイズの境界を確立すること。
• データ複雑性の指数を改善した結合アルゴリズムの設計を進め、特定のクエリクラスにおいて非二次時間オーダーを達成すること。
• 次数に依存する負荷分散を用いることで、MapReduceモデルにおける最適な並列性と通信効率を実現すること。
• 3-SUM予想に基づく、行列乗算の指数に関する仮定に依存しない最初のタイトな境界を提供する、非二次時間解法のための意思決定手続きの構築。

提案手法

• 度合均一化（degree-uniformization）を導入：パラメータ $ L $ を用いて、各関係を属性値の次数に基づくバケットに分割し、タプルをその次数でグループ化する。
• 元のマルチウェイ結合を、対応するパーティション上で独立した小さな結合に分割することで、偏りを軽減し、よりタイトな解析を可能にする。
• 次数情報を用いた新しい出力サイズの境界を導出。これはAGM境界よりもタイトであり、特に属性の次数が低いか、著しくばらついている場合に顕著に効果を発揮する。
• 度合均一化されたパーティションを用いて、分数ハイパートリューマンドウエイトに基づく境界よりも指数が小さい、順次結合アルゴリズムを設計する。
• 次数に依存するハッシュ法とパーティショニングを用いることで、負荷をバランスさせ、最適な通信複雑性を達成するMapReduceアルゴリズムを設計する。
• 1シリーズ・パラレル結合の非二次時間解法の、タイトな3-SUMに基づく下界を確立。これは行列乗算の指数 $ heta $ に関する仮定に依存せず、この文脈で初めてのタイトな境界である。

実験結果

リサーチクエスチョン

• RQ1 既存の最悪計算量境界（例：AGM）よりも、次数情報を用いてマルチウェイ等価結合の出力サイズの上界をよりタイトに導けるか？
• RQ2 次数に依存する前処理は、分数ハイパートリューマンドウエイトに基づくものよりも、データ複雑性の指数が小さい結合アルゴリズムを可能にするか？
• RQ3 完全なデータサンプリングを必要とせず、次数統計情報のみで、マルチウェイ結合におけるMapReduceの通信複雑性を最適化できるか？
• RQ4 マルチウェイ結合の非二次時間解法の正確な境界は何か？また、行列乗算の指数に関する仮定なしに、これを特定できるか？
• RQ5 度合均一化は、ほぼ線形時間の前処理時間で維持しつつ、順次処理と並列処理の両方の性能を向上させられるか？

主な発見

• 提案された次数に基づく境界は、ソーシャルネットワークにおける三角形の推定数をAGM境界と比較して最大95倍まで削減し、スパarsなネットワークに対してもよりタイトな境界を提供する。
• 実世界のソーシャルネットワーク（例：LiveJournal）における三角形結合では、新境界がAGMより95倍タイトであり、最大次数 ≤ 5000のFacebookでは、少なくとも450倍タイトである。
• 3-SUM予想に基づき、次数情報を用いることで、分数ハイパートリューマンドウエイトに基づく境界よりもデータ複雑性の指数を低下させ、1シリーズ・パラレル結合に対して非二次時間オーダーを達成する。
• 結合処理の3-SUMに基づく下界はタイトであり、行列乗算の指数 $ heta $ に関する仮定に依存せず、この文脈で初めてのタイトな境界である。
• MapReduceアルゴリズムは、次数に依存する負荷分散とパーティショニングを用いることで、最適な通信複雑性を達成し、ほぼ最適な並列性をサポートする。
• 次数情報の収集を目的とした前処理ステップはほぼ線形時間で実行され、順次および並列結合パイプラインへの効率的な統合を可能にする。