[論文レビュー] Joins on Samples: A Theoretical Guide for Practitioners

Dawei Huang, Dong Young Yoon+2 more|arXiv (Cornell University)|Dec 7, 2019

Data Management and Algorithms参考文献 56被引用数 4

ひとこと要約

この論文は、オフラインサンプルを用いた等結合の近似の理論的基盤を提供し、最適なサンプリング戦略——特に層別サンプリング、ユニバースサンプリング、ベルヌーイサンプリングを統合したハイブリッド手法——が、情報理論的下界の定数倍以内の分散を達成できることを示している。実用的導入を可能にする分散型バージョンを導入することで、完全なデータシャッフルを伴わずに正確で低オーバーヘッドの結合推定が可能になる。

ABSTRACT

Despite decades of research on approximate query processing (AQP), our understanding of sample-based joins has remained limited and, to some extent, even superficial. The common belief in the community is that joining random samples is futile. This belief is largely based on an early result showing that the join of two uniform samples is not an independent sample of the original join, and that it leads to quadratically fewer output tuples. However, unfortunately, this result has little applicability to the key questions practitioners face. For example, the success metric is often the final approximation's accuracy, rather than output cardinality. Moreover, there are many non-uniform sampling strategies that one can employ. Is sampling for joins still futile in all of these settings? If not, what is the best sampling strategy in each case? To the best of our knowledge, there is no formal study answering these questions. This paper aims to improve our understanding of sample-based joins and offer a guideline for practitioners building and using real-world AQP systems. We study limitations of offline samples in approximating join queries: given an offline sampling budget, how well can one approximate the join of two tables? We answer this question for two success metrics: output size and estimator variance. We show that maximizing output size is easy, while there is an information-theoretical lower bound on the lowest variance achievable by any sampling strategy. We then define a hybrid sampling scheme that captures all combinations of stratified, universe, and Bernoulli sampling, and show that this scheme with our optimal parameters achieves the theoretical lower bound within a constant factor. Since computing these optimal parameters requires shuffling statistics across the network, we also propose a decentralized variant where each node acts autonomously using minimal statistics.

研究の動機と目的

• 近似クエリ処理（AQP）において、一様サンプルの結合が本質的に無意味であるという長年の誤解を是正すること。
• 出力サイズと推定子の分散という2つの主要な成功指標に基づき、オフラインサンプリングが等結合を近似する際の制限を形式的に分析すること。
• 分散を最小化する情報理論的最適なサンプリング戦略を導出し、理論的下界の定数倍以内の性能を達成すること。
• 最小限のネットワーク通信で統計情報を共有するだけで済むように、実用的導入を可能にする分散型サンプリング変種を設計すること。
• 実世界のSQLおよびAQPエンジンを用いた実験的検証により、実用的精度と効率性を示すこと。

提案手法

• 層別サンプリング、ユニバースサンプリング、ベルヌーイサンプリングを統合した単一のフレームワークに統合されたハイブリッドサンプリングスキームを提案し、各コンponentのサンプリングレートをパrameter化する。
• 等結合における任意のオフラインサンプリング戦略が達成可能な最小分散の情報理論的下界を導出する。
• この下界の定数倍以内の分散を達成する、ハイブリッドスキームの最適なサンプリングパラメータを同定する。
• 各ノードがローカル統計情報のみを用いて自身の最適なサンプリングパラメータを計算できる分散型バージョンを導入し、グローバルな調整を回避する。
• 変分サブサンプリングおよび統計推定技術を用いて、結合結果における集計関数（例：COUNT、SUM）の正確な近似を保証する。
• 実世界のAQPエンジン（例：VerdictDB、Quickr）および合成ワークロードを用いて、精度とスループットの向上を測定することで、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 等結合の近似において、一様サンプルの結合は本当に無意味なのか、それとも非一様サンプリング戦略によって高い精度が達成可能なのか？
• RQ2 オフラインサンプリング戦略が等結合を近似する際に達成可能な理論的最小分散は何か？ そして、この下界は実際の状況でも到達可能か？
• RQ3 統一されたサンプリングフレームワークは、層別サンプリング、ユニバースサンプリング、ベルヌーイサンプリングの利点を捉えつつ、分散を最小限に抑えることができるか？
• RQ4 完全なネットワーク調整なしに、分散的に効率的に最適なサンプリングパラメータを計算する方法は何か？
• RQ5 理論的知見は、実際のAQPシステムにおいてどの程度の精度向上をもたらすのか？

主な発見

• 本論文は、等結合における任意のオフラインサンプリング戦略の分散に対する情報理論的下界を確立し、最適性能のベンチマークを提供する。
• 最適にチューニングされたパラメータを有する提案されたハイブリッドサンプリングスキームは、理論的下界の定数倍以内の分散を達成する。
• 分散型バージョンでは、各ノードがローカル統計情報のみを用いて自身の最適なサンプリングパラメータを計算でき、通信オーバーヘッドが顕著に削減される。
• SQLおよびAQPエンジンを用いた実験的評価により、提案手法が顕著な高速化を伴いながら高い精度を達成することが確認され、一様サンプリングやユニバースサンプリングを上回る性能を示した。
• 結果として、結合カラムの分布が非一様（歪んでいる）場合に特に顕著に、オフラインサンプルの結合が無意味ではないことが示された。
• 本フレームワークは、より代表的な結合結果のサンプルを提供することで、データベース学習および選択性推定の精度を向上させる。