[論文レビュー] Sublinear-Time Algorithms for Counting Star Subgraphs with Applications to Join Selectivity Estimation

Aliakbarpour, Maryam, Biswas, Amartya Shankha+4 more|arXiv (Cornell University)|Jan 17, 2016

Distributed systems and fault tolerance参考文献 36被引用数 5

ひとこと要約

本稿では、エッジを一様にサンプリングすることにより、グラフにおけるpスターサブグラフの数を推定するためのサブリニア時間アルゴリズム、およびデータベースにおける自己結合および等結合クエリの選択性を推定するためのアルゴリズムを提示する。クエリ複雑性は $ ilde{O}(m \log \log n / (\varepsilon^2 S_p^{1/p}))$ であり、従来の頂点サンプリングに依存する手法よりも顕著に改善されており、ヤオの原理と結合エッジクエリを持つ明示的グラフ構成を用いて、ほぼタイトな下界を確立している。

ABSTRACT

We study the problem of estimating the value of sums of the form $S_p riangleq \sum \binom{x_i}{p}$ when one has the ability to sample $x_i \geq 0$ with probability proportional to its magnitude. When $p=2$, this problem is equivalent to estimating the selectivity of a self-join query in database systems when one can sample rows randomly. We also study the special case when $\{x_i\}$ is the degree sequence of a graph, which corresponds to counting the number of $p$-stars in a graph when one has the ability to sample edges randomly. Our algorithm for a $(1 \pm \varepsilon)$-multiplicative approximation of $S_p$ has query and time complexities $Ø(\frac{m \log \log n}{ε^2 S_p^{1/p}})$. Here, $m=\sum x_i/2$ is the number of edges in the graph, or equivalently, half the number of records in the database table. Similarly, $n$ is the number of vertices in the graph and the number of unique values in the database table. We also provide tight lower bounds (up to polylogarithmic factors) in almost all cases, even when $\{x_i\}$ is a degree sequence and one is allowed to use the structure of the graph to try to get a better estimate. We are not aware of any prior lower bounds on the problem of join selectivity estimation. For the graph problem, prior work which assumed the ability to sample only \emph{vertices} uniformly gave algorithms with matching lower bounds [Gonen, Ron, and Shavitt. extit{SIAM J. Comput.}, 25 (2011), pp. 1365-1411]. With the ability to sample edges randomly, we show that one can achieve faster algorithms for approximating the number of star subgraphs, bypassing the lower bounds in this prior work. For example, in the regime where $S_p\leq n$, and $p=2$, our upper bound is $ ilde{O}(n/S_p^{1/2})$, in contrast to their $Ω(n/S_p^{1/3})$ lower bound when no random edge queries are available.

研究の動機と目的

• エッジを一様にサンプリングできる場合に、グラフにおけるpスターサブグラフの数を推定するための効率的なサブリニア時間アルゴリズムを設計すること。
• これらのアルゴリズムを、最小限のデータアクセスでデータベースシステムにおける自己結合および等結合クエリの選択性を推定するために応用すること。
• 一様エッジサンプリングのもとで、$S_p = \sum \binom{x_i}{p}$ の推定に必要なクエリ複雑性のほぼタイトな下界を確立すること、すなわちグラフ構造を活用しても同様に成立すること。
• エッジサンプリングが頂点サンプリングのみに依存する従来の下界を回避できることを示し、より高速な推定が可能であることを示すこと。
• 有向グラフにおける長さ2のパスの数を数える問題の複雑性を解析し、入次数と出次数の比が有界である場合にサブリニアアルゴリズムが可能であることを示すこと。

提案手法

• 主にクエリプリミティブとして一様なランダムエッジサンプリングを活用し、$x_i$（次数または頻度カウント）に対する $S_p = \sum \binom{x_i}{p}$ の効率的推定を可能にする。
• クエリおよび実行時間複雑性が $\tilde{O}(m \log \log n / (\varepsilon^2 S_p^{1/p}))$ であるサブリニア推定器を設計する。ここで $m$ はエッジ数、$S_p$ は目的の合計値である。
• ヤオの原理を用いて、$S_p$ が異なるがランダムエッジクエリでは区別できない2つのグラフ族 $\mathcal{F}_1$ および $\mathcal{F}_2$ を構成することで下界を証明する。
• カップリングの議論を用いて、両方のグラフ族においてランダムエッジクエリが高確率で同じエッジを返すように保証し、任意のアルゴリズムがそれらを区別するには多数のクエリが必要であることを強制する。
• 入次数と出次数の比が有界であるという仮定の下で、有向パスカウンティング問題を無向ケースに還元し、サブリニアアルゴリズムを可能にする。
• 自己ループや多重辺が発生するランダムグラフ構成における問題を避けるために、明示的な隣接リスト表現を用いる。

実験結果

リサーチクエスチョン

• RQ1 一様ランダムエッジクエリのみを用いて、グラフにおけるpスターサブグラフの数を推定可能であり、その効率はどの程度か？
• RQ2 特に結合選択性推定の文脈において、エッジサンプリングと頂点サンプリングの両方で $S_p = \sum \binom{x_i}{p}$ を推定する際の複雑性を比較するとどうなるか？
• RQ3 ランダムエッジクエリを用いた $S_p$ の推定における情報理論的限界（下界）は何か？ また、従来の研究と比較するとどうか？
• RQ4 有向グラフにおいて、長さ2のパスの数をサブリニア時間で推定できる条件は何か？
• RQ5 エッジサンプリングが可能である場合、頂点サンプリングと比較してグラフ構造を活用することで、より良いクエリ複雑性を達成できるか？

主な発見

• 提案されたアルゴリズムは、$\tilde{O}(m \log \log n / (\varepsilon^2 S_p^{1/p}))$ のクエリ複雑性を達成しており、これは入力サイズに対してサブリニアであり、多対数因子を除いて最適である。
• $S_p \leq n$ かつ $p=2$ の場合、アルゴリズムは $\tilde{O}(n / S_p^{1/2})$ 時間で実行され、従来の頂点サンプリングのみに依存する手法の $\Omega(n / S_p^{1/3})$ の下界を上回る。
• $S_p = O(n^p)$ の場合、任意の $S_p$ に対して $\Omega(n^{1-1/p})$ の下界を確立し、アルゴリズムの複雑性がこの領域でほぼ最適であることを示している。
• $S_p = \Omega(n^p)$ の大きな場合、下界は $\Omega(n^{p-1/p} / S_p^{1-1/p})$ であり、これはアルゴリズムの複雑性と対数因子を除いて一致する。
• 一般には有向パスカウンティング問題はサブリニア時間で解けないが、入次数と出次数の比が有界であれば解けるようになる。
• 著者らは、結合選択性推定に関する既存の知見のない最初の下界を提供し、エッジサンプリングが頂点サンプリングのみに比べて、明示的に速い推定を可能にすることを示している。