[論文レビュー] Speedy Browsing and Sampling with NeedleTail.

Albert Kim, Liqi Xu+4 more|arXiv (Cornell University)|Nov 15, 2016

Data Management and Algorithms参考文献 50被引用数 3

ひとこと要約

NeedleTail は、密度マップと局所性を考慮したサンプリングを用いて、大規模データセットから小規模で代表的なサンプルをサブ秒で閲覧可能にするサンプリングエンジンである。既存の手法と比較して、最大30倍のメモリ使用量削減と10倍の高速応答時間を達成し、調査サンプリング技術を用いてバイアスを低減する。

ABSTRACT

Exploratory data analysis often involves repeatedly browsing small samples of records that satisfy certain ad-hoc predicates, to form and test hypotheses, identify correlations, or make inferences. Unfortunately, existing database systems are not optimized for queries with a LIMIT clause---operating instead in an all-or-nothing manner. While workload aware caching, indexing, or precomputation schemes may appear promising remedies, they do not apply in an exploratory setting where the queries are ad-hoc and unpredictable. In this paper, we propose a fast sampling engine, called NeedleTail, aimed at letting analysts browse a small sample of the query results on large datasets as quickly as possible, independent of the overall size of the result set. NeedleTail introduces density maps, a lightweight in-memory indexing structure, and a set of efficient algorithms (with desirable theoretical guarantees) to quickly locate promising blocks, trading off locality and density. In settings where the samples are used to compute aggregates, we extend techniques from the statistics literature---in particular, from survey sampling---to mitigate the bias from using our sampling algorithms. Our experimental results demonstrate that NeedleTail returns results an order of magnitude faster while occupying up to 30x less memory than existing sampling techniques.

研究の動機と目的

• 探索的データ分析で一般的なアドホックで限定的な結果を求めるクエリを処理する際、従来のデータベースシステムの非効率性を是正すること。
• 合計結果サイズにかかわらず、大規模データセットから小規模な結果セットをサブ秒でサンプリング可能にする。
• 予測不能でインタラクティブなクエリワークロードにおいて、サンプリングの品質と代表性を維持しつつ、メモリオーバーヘッドを低減すること。
• 調査サンプリング文献からの技術を用いて、集計推定におけるサンプリングバイアスを低減すること。

提案手法

• データブロックの密度を推定することで、有望な領域を優先してサンプリングするための軽量なメモリ内インデックス構造「密度マップ」を導入する。
• 空間的局所性とデータ密度のバランスを取ることで、アクセスを加速する局所性を考慮したサンプリングアルゴリズムを採用する。
• 系統的サンプリングや加重推定といった調査サンプリング技術を適用し、サンプルデータからの集計計算におけるバイアスを是正する。
• 密度と近接性ヒューリスティクスに基づいて、全体のデータブロックをサンプリングするブロックベースのサンプリング戦略を採用する。
• I/Oとランダムアクセスを最小限に抑え、シーケンシャルかつキャッシュフレンドリーなデータアクセスを優先することで、低遅延応答を最適化する。

実験結果

リサーチクエスチョン

• RQ1 クエリパターンの事前知識がなくても、大規模データセットにおける小規模なクエリの応答時間を著しく短縮できるか。
• RQ2 探索的でアドホックなクエリ環境において、どのようにして高速かつメモリ効率の良いサンプリングを実現できるか。
• RQ3 密度ベースのインデキシングと局所性を考慮したサンプリングが、従来のサンプリング手法に比べてどれほど性能向上をもたらすか。
• RQ4 調査サンプリング技術をデータベースの文脈で適用することで、サンプル集計における統計的バイアスを効果的に低減できるか。

主な発見

• NeedleTail は、既存のサンプリング技術と比較して、平均クエリ応答時間を最大10倍短縮する。
• システムはベースライン手法と比較して最大30倍のメモリ使用量削減を達成し、メインメモリデプロイメントに適している。
• 密度マップにより、サンプリング品質と収束に関する強い理論的保証を伴う効率的なブロック選択が可能になる。
• 調査サンプリング手法の統合により、集計推定のバイアスが効果的に低減され、サンプル統計の正確性が向上する。