[論文レビュー] How to Estimate Change from Samples

Edith Cohen, Haim Kaplan|arXiv (Cornell University)|Mar 22, 2012

Data Management and Algorithms参考文献 25被引用数 4

ひとこと要約

本稿では、$L_p$距離（p=1,2）をポisson確率に比例するサイズ（PPS）サンプリングおよび固定サイズの重み付きサンプルから推定する、新規で許容可能な推定量を提案する。これにより、小さなサンプル率であっても、正確かつスケーラブルな距離推定が可能になる。本手法は独立サンプリングおよび調整付きサンプリングの両方をサポートし、実用的に高い精度と分散最適性を達成する。

ABSTRACT

Distance queries are a basic tool in data analysis. They are used for detection and localization of change for the purpose of anomaly detection, monitoring, or planning. Distance queries are particularly useful when data sets such as measurements, snapshots of a system, content, traffic matrices, and activity logs are collected repeatedly. Random sampling, which can be efficiently performed over streamed or distributed data, is an important tool for scalable data analysis. The sample constitutes an extremely flexible summary, which naturally supports domain queries and scalable estimation of statistics, which can be specified after the sample is generated. The effectiveness of a sample as a summary, however, hinges on the estimators we have. We derive novel estimators for estimating $L_p$ distance from sampled data. Our estimators apply with the most common weighted sampling schemes: Poisson Probability Proportional to Size (PPS) and its fixed sample size variants. They also apply when the samples of different data sets are independent or coordinated. Our estimators are admissible (Pareto optimal in terms of variance) and have compelling properties. We study the performance of our Manhattan and Euclidean distance ($p=1,2$) estimators on diverse datasets, demonstrating scalability and accuracy even when a small fraction of the data is sampled. Our work, for the first time, facilitates effective distance estimation over sampled data.

研究の動機と目的

• 大規模な監視および分析ワークロードにおけるサンプリング済みデータに対する有効な距離推定手法の欠如に対処する。
• 一般的な重み付きサンプリング方式（特にPPSおよびその固定サイズバージョン）において、$L_p$距離の推定量を許容可能（分散においてパレート最適）なものに開発する。
• 複数のデータセットに対する独立および調整付きサンプリングの両方への適用可能性を保証する。
• リアルタイムおよび分散システムをサポートするため、最小限のデータサンプリングで正確な距離推定を可能にする。
• サンプリング済みデータサマリに対する距離クエリの理論的裏付けと実証的妥当性を兼ね備えたフレームワークを提供する。

提案手法

• Poisson確率に比例するサイズ（PPS）サンプリングを用いて、$L_1$（マンハッタン）および$L_2$（ユークリッド）距離の推定量を設計する。
• 推定量をPPSの固定サンプルサイズバージョンに拡張し、分散最適性を維持する。
• 複数のデータセットに対する独立および調整付きサンプリングの両方において、頑健な推定量を定式化する。
• 競合推定量間の分散におけるパレート最適性を証明することで、許容可能性を保証する。
• 重み付きサンプルの構造を活用し、全データの再処理なしに事後的な距離推定を可能にする。
• 多様な実世界のデータセットに推定量を適用し、低サンプリングレート下でのスケーラビリティと正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 PPSおよびその固定サイズバージョンのような一般的な重み付きサンプリング方式に適用可能であり、かつ許容可能な（分散においてパレート最適な）$L_p$距離の推定量を構築できるか？
• RQ2 データの小さな一部しかサンプリングしない状況下で、提案手法の推定量はベースライン手法と比較して分散と正確性の点でどのように性能を発揮するか？
• RQ3 異なるデータセットからのサンプルが独立または調整付きである場合、推定量の正確性はどの程度維持されるか？
• RQ4 多様な実世界のデータセット（異なるデータ特性を有する）において、推定量の実証的スケーラビリティおよび頑健性はどの程度か？
• RQ5 提案手法の推定量は、ストリーミングまたは分散データ環境における変化検出および異常局所化に実際に効果的に使用できるか？

主な発見

• 提案された推定量は許容可能であり、競合推定量の中で分散においてパレート最適であることを示している。
• わずかなデータサンプル率であっても、推定量は高い正確性を示し、スケーラブルな分析を可能にする。
• 多様なデータセットにおいて一貫した高い性能を発揮し、データ分布および構造に対する頑健性を確認した。
• 本手法は独立および調整付きサンプリングの両方をサポートしており、分散およびマルチソース監視に適している。
• 推定量は、大規模なデータシステムにおける変化検出、監視、計画タスクのための効果的な距離推定を可能にする。
• 本稿では、サンプリング済みデータサマリに対する$L_p$距離推定の、原則的かつ効果的なフレームワークを初めて確立した。