[論文レビュー] Perfect and Maximum Randomness in Stratified Sampling over Joins

Niranjan Kamat, Arnab Nandi|arXiv (Cornell University)|Jan 19, 2016

Data Stream Mining Techniques参考文献 29被引用数 4

ひとこと要約

本論文は、ジョインにおけるサンプリングの統合的相関ベースのアプローチを提示し、相関のあるサンプルのランダム性を最大化する技術を提案するとともに、非相関サンプリングを最適化してサンプルインflaionを低減する。相関を最小限に抑えるために割合割り当てを用いた最適なサンプリング戦略を導入し、実行オーバーヘッドを抑えながら、ほぼ一様なランダム性を達成。ジョインサンプリングにおいて、中間データサイズと実行時間を顕著に削減する。

ABSTRACT

Supporting sampling in the presence of joins is an important problem in data analysis, but is inherently challenging due to the need to avoid correlation between output tuples. Current solutions provide either correlated or non-correlated samples. Sampling might not always be feasible in the non-correlated sampling-based approaches -- the sample size or intermediate data size might be exceedingly large. On the other hand, a correlated sample may not be representative of the join. This paper presents a \emph{unified} strategy towards join sampling, while considering sample correlation every step of the way. We provide two key contributions. First, in the case where a \emph{correlated} sample is \emph{acceptable}, we provide techniques, for all join types, to sample base relations so that their join is \emph{as random as possible}. Second, in the case where a correlated sample is \emph{not acceptable}, we provide enhancements to the state-of-the-art algorithms to reduce their execution time and intermediate data size.

研究の動機と目的

• ジョインサンプリングにおけるサンプル相関の課題に取り組み、バイアスの高い結果と高い誤差率を回避すること。
• 非相関サンプリングが管理できないほど大きなサンプルサイズを引き起こすサンプルインフレーションを、サンプリング戦略の最適化によって低減すること。
• 相関あり・非相関ありの両方のサンプリングをサポートする統合フレームワークを提供し、効率性とランダム性を向上させること。
• 中間データサイズと実行時間を最小限に抑えることで、最先端の非相関サンプリングアルゴリズムを強化すること。
• 可能なジョインサンプルの数を最大化し、相関があるサンプリングの状況でも非相関ランダム性に近い結果を得ること。

提案手法

• ジョインのランダム性を可能な出力サンプル数としてモデル化し、この数を最大化することを目的とした、相関に配慮したサンプリング戦略を提案。
• ジョイングループごとのサンプル数と全タプル数の比率がバランスするように、関係間でサンプルを割り当てるための割合割り当てを用いる。これにより相関が最小限に抑えられる。
• サンプリング制約の下で可能なサンプル数の対数を最大化する最適化問題にラグランジュ乗数法を適用。
• 等価ジョインおよびシータジョイン（例：≤ 比較）における閉形式のサンプル割り当て解を導出。サンプル数の組み合わせ的表現を用いる。
• ストラタごとのサンプル分布をバランスさせるために、グローバルスケーリング要因Aを求めるバイナリサーチベースの手法を導入。これにより最適な割り当てが実現される。
• 最適化されたサンプリング計画とジョイン順序の検討を組み合わせることで、中間データサイズと実行時間を削減し、既存の非相関サンプリングアルゴリズムを強化。

実験結果

リサーチクエスチョン

• RQ1 等価ジョインおよびシータジョインにおいて、非相関サンプリングを必要とせずに、相関のあるサンプルのランダム性を最大化する方法は何か？
• RQ2 ジョイン処理において、相関を最小限に抑えつつ、現実的なサンプルサイズを維持するサンプリング割り当て戦略は何か？
• RQ3 サンプルサイズが関係のサイズを上回る非相関サンプリングにおいて、ジョインのサンプルインフレーションを低減する方法は何か？
• RQ4 ジョイングループ間での割合割り当てが、ほぼ一様なランダム性とサンプリング効率の向上をもたらすか？
• RQ5 複数の関係にわたるサンプルを最適に分散させることで、可能なジョイン結果の数を最大化する方法は何か？

主な発見

• 提案手法は、可能なジョイン結果の数を最大化することで、相関のあるサンプルにおいてほぼ最大のランダム性を達成。標準的な相関サンプリング手法と比較して、サンプリング誤差が顕著に低減される。
• 等価ジョインでは、最適なサンプル割り当てが各ジョイングループのサイズに比例する。これにより、すべてのジョインコンponentにバランスの取れたサンプリングが実現される。
• 非相関サンプリングにおいて、中間データサイズと実行時間を、特に高基数ジョインにおいて、数個のオーダー単位で顕著に削減する。
• グローバルスケーリング要因Aを求めるためにバイナリサーチを用いることで、すべてのストラタにわたり最適なサンプル割り当てを効率的に計算可能となる。
• 理論的分析により、組み合わせ最適化によるランダム性の最大化が相関を顕著に低減し、非相関サンプリングに近い性能を達成することが示された。
• ≤ 比較を含むシータジョインでは、ストラタの位置に基づいた修正された割り当てルールを導出。割り当て式の指数はストラタインデックスjに依存する。