[论文解读] How to Estimate Change from Samples

Edith Cohen, Haim Kaplan|arXiv (Cornell University)|Mar 22, 2012

Data Management and Algorithms参考文献 25被引用 4

一句话总结

本文提出了新颖的可接受估计量，用于从泊松概率比例大小（PPS）抽样和固定大小加权样本中计算 $L_p$ 距离（p=1,2），即使样本比例较小，也能实现准确且可扩展的距离估计。该方法支持独立抽样和协调抽样，实际应用中表现出高精度和方差最优性。

ABSTRACT

Distance queries are a basic tool in data analysis. They are used for detection and localization of change for the purpose of anomaly detection, monitoring, or planning. Distance queries are particularly useful when data sets such as measurements, snapshots of a system, content, traffic matrices, and activity logs are collected repeatedly. Random sampling, which can be efficiently performed over streamed or distributed data, is an important tool for scalable data analysis. The sample constitutes an extremely flexible summary, which naturally supports domain queries and scalable estimation of statistics, which can be specified after the sample is generated. The effectiveness of a sample as a summary, however, hinges on the estimators we have. We derive novel estimators for estimating $L_p$ distance from sampled data. Our estimators apply with the most common weighted sampling schemes: Poisson Probability Proportional to Size (PPS) and its fixed sample size variants. They also apply when the samples of different data sets are independent or coordinated. Our estimators are admissible (Pareto optimal in terms of variance) and have compelling properties. We study the performance of our Manhattan and Euclidean distance ($p=1,2$) estimators on diverse datasets, demonstrating scalability and accuracy even when a small fraction of the data is sampled. Our work, for the first time, facilitates effective distance estimation over sampled data.

研究动机与目标

• 解决大规模监控与分析工作负载中抽样数据缺乏有效距离估计技术的问题。
• 为常见加权抽样方案（如 PPS 及其固定样本量变体）下的 $L_p$ 距离开发可接受的（方差意义下的帕累托最优）估计量。
• 确保适用于多个数据集的独立抽样与协调抽样。
• 实现在最小数据抽样比例下实现准确的距离估计，支持实时与分布式系统。
• 提供一个理论基础坚实且经实证验证的框架，用于对抽样数据摘要进行距离查询。

提出的方法

• 利用泊松概率比例大小（PPS）抽样，设计 $L_1$（曼哈顿）和 $L_2$（欧几里得）距离的估计量。
• 将估计量扩展至 PPS 抽样的固定样本量变体，同时保持方差最优性。
• 制定在多个数据集的独立或协调抽样下均具有鲁棒性的估计量。
• 通过证明在竞争估计量中具有方差意义下的帕累托最优性，确保估计量的可接受性。
• 利用加权样本的结构，支持无需重新处理完整数据即可进行事后距离估计。
• 将估计量应用于多种真实世界数据集，评估在低抽样率下的可扩展性与准确性。

实验结果

研究问题

• RQ1 我们能否构建出既可接受又适用于常见加权抽样方案（如 PPS 及其固定样本量变体）的 $L_p$ 距离估计量？
• RQ2 当仅采样极小比例数据时，所提估计量在方差与精度方面相较于基线方法表现如何？
• RQ3 当不同数据集的样本为独立或协调抽样时，估计量的精度能在多大程度上保持？
• RQ4 在具有不同数据特征的多样化真实世界数据集上，估计量的实证可扩展性与鲁棒性如何？
• RQ5 所提估计量能否在流式或分布式数据环境中有效用于变化检测与异常定位？

主要发现

• 所提估计量实现了可接受性，即在竞争估计量中具有方差意义下的帕累托最优性。
• 即使仅采样极小比例数据，估计量仍表现出高精度，支持可扩展分析。
• 在多样化数据集上性能表现一致强劲，证实了对数据分布与结构的鲁棒性。
• 该方法支持独立与协调抽样，适用于分布式与多源监控场景。
• 估计量支持在大规模数据系统中实现有效的距离估计，适用于变化检测、监控与规划任务。
• 首次建立了针对抽样数据摘要的 $L_p$ 距离估计的系统性且高效的理论框架。