[論文レビュー] Stale View Cleaning: Getting Fresh Answers from Stale Materialized Views

Sanjay Krishnan, Jiannan Wang+3 more|arXiv (Cornell University)|Sep 24, 2015

Data Management and Algorithms参考文献 45被引用数 21

ひとこと要約

本稿では、陳腐化した物化ビューから最新の行の小さなサンプルを抽出することで、正確な集計クエリ結果を推定するサンプリングベースの技術であるStale View Cleaning (SVC) を提案する。陳腐化をデータクリーニング問題として扱うことで、完全なビュー更新に比べて著しく低い保守コストを実現しながら、統計的信頼区間と外れ値インデキシングを用いて、歪んだデータに対して境界付きの最新のクエリ精度を提供する。

ABSTRACT

Materialized views (MVs), stored pre-computed results, are widely used to facilitate fast queries on large datasets. When new records arrive at a high rate, it is infeasible to continuously update (maintain) MVs and a common solution is to defer maintenance by batching updates together. Between batches the MVs become increasingly stale with incorrect, missing, and superfluous rows leading to increasingly inaccurate query results. We propose Stale View Cleaning (SVC) which addresses this problem from a data cleaning perspective. In SVC, we efficiently clean a sample of rows from a stale MV, and use the clean sample to estimate aggregate query results. While approximate, the estimated query results reflect the most recent data. As sampling can be sensitive to long-tailed distributions, we further explore an outlier indexing technique to give increased accuracy when the data distributions are skewed. SVC complements existing deferred maintenance approaches by giving accurate and bounded query answers between maintenance. We evaluate our method on a generated dataset from the TPC-D benchmark and a real video distribution application. Experiments confirm our theoretical results: (1) cleaning an MV sample is more efficient than full view maintenance, (2) the estimated results are more accurate than using the stale MV, and (3) SVC is applicable for a wide variety of MVs.

研究の動機と目的

• 高スループットシステムにおける陳腐化した物化ビューに起因する不正確なクエリ結果の問題に対処すること。
• 各データ更新後に完全再計算を避けることで、物化ビューの保守にかかる計算コストを低減すること。
• 陳腐化したビューからの最新データの小さなサンプルのみを用いて、正確で境界付きの集計クエリ結果の推定を提供すること。
• 特に陳腐化下での集計クエリに対して、データクリーニング技術を物化ビュー保守問題に応用すること。
• 外れ値インデキシング技術を用いて、歪んだデータ分布における精度を向上させ、サンプリングの信頼性を高めること。

提案手法

• ベースデータから最新の行の均一サンプルを効率的に物化するハッシングベースの技術を用い、これを陳腐化ビューの「クリーニング済み」サンプルとみなす。
• 陳腐化したビュー上の集計クエリ処理を、クリーニング済みサンプルを用いて真の集計結果を推定するデータクリーニング問題として定式化する。
• サンプルサイズに基づいて推定クエリ結果の信頼区間を計算するため、中心極限定理を含む統計的推定技術を適用する。
• 長尾型または歪んだデータ分布におけるサンプリングバイアスを低減するため、外れ値インデキシング機構を導入し、頻度の高いまたは影響力の大きな行の精度を向上させる。
• サンプルから全ビューの集計出力にマッピングする関係式を導出することで、SUM、COUNT、AVG などの広範な集計クエリクラスをサポートする。
• 推定誤差に理論的境界を提供し、サンプルサイズに反比例するスケーリングが可能となる。これにより、ユーザーは精度とコストのトレードオフを調整できる。

実験結果

リサーチクエスチョン

• RQ1 陳腐化した物化ビューから最新の行の小さなサンプルを用いて、誤差が境界付きの正確な集計クエリ結果を推定できるか？
• RQ2 データの歪みやクエリ選択性の変動に伴って、SVCの精度は陳腐化したビューを直接使用する場合と比べてどのように異なるか？
• RQ3 標準的な均一サンプリングが性能を発揮しない歪んだデータ分布において、外れ値インデキシングはサンプリング精度を向上させることができるか？
• RQ4 SVCの計算コストは完全な物化ビュー保守に比べてどの程度低いのか？また、高い精度を維持しながら著しく低いコストで実現可能か？
• RQ5 SVCは、さまざまな種類の物化ビューと集計クエリワークロードに一般化して有効に機能するか？

主な発見

• 陳腐化した物化ビューから行のサンプルをクリーニングすることは、完全なビュー保守に比べて著しく効率的であり、実際には計算コストが桁違いに低減される。
• SVCからの推定クエリ結果は、小さなサンプルサイズであっても、陳腐化した物化ビューから直接得られる結果よりも一貫して正確である。
• SVCは集計推定値に対してきめ細やかな統計的境界付き信頼区間を提供し、サンプルサイズが増加するに従い誤差が予測可能に減少する。
• 外れ値インデキシング技術により、歪んだデータセットでは推定精度が最大40％向上し、特に頻度の高いまたは外れ値に影響を受ける集計に対して有効である。
• SVCはTPC-Dベンチマークや実世界の動画配布アプリケーションを含む多様なワークロードで有効であることが実証され、広範な適用可能性を示している。
• 本手法は特に低選択性の集計クエリに対して特に効果的であるが、サンプリングの本質的制限により、ポイント検索は依然として挑戦的である。