[论文解读] Coordinated Weighted Sampling for Estimating Aggregates Over Multiple Weight Assignments

Edith Cohen, Haim Kaplan+1 more|arXiv (Cornell University)|Jun 24, 2009

Data Quality and Management被引用 5

一句话总结

本文提出了一种协调加权采样框架，用于对具有多个权重分配的向量加权数据（如网络流量或股票报价）进行聚合估计。通过在不同权重分配之间同步样本，该方法相比独立采样将方差降低了数个数量级，从而实现了对单权重和多权重聚合（如加权和与L₁差值）的高精度近似查询处理。

ABSTRACT

Many data sources are naturally modeled by multiple weight assignments over a set of keys: snapshots of an evolving database at multiple points in time, measurements collected over multiple time periods, requests for resources served at multiple locations, and records with multiple numeric attributes. Over such vector-weighted data we are interested in aggregates with respect to one set of weights, such as weighted sums, and aggregates over multiple sets of weights such as the $L_1$ difference. Sample-based summarization is highly effective for data sets that are too large to be stored or manipulated. The summary facilitates approximate processing queries that may be specified after the summary was generated. Current designs, however, are geared for data sets where a single {\em scalar} weight is associated with each key. We develop a sampling framework based on {\em coordinated weighted samples} that is suited for multiple weight assignments and obtain estimators that are {\em orders of magnitude tighter} than previously possible. We demonstrate the power of our methods through an extensive empirical evaluation on diverse data sets ranging from IP network to stock quotes data.

研究动机与目标

• 为解决在具有多个权重分配的数据（如时间序列测量或多属性记录）上高效估计聚合值的挑战。
• 克服在计算多权重聚合（如L₁差值或最大/最小值）时独立加权采样的性能低下问题。
• 设计一种采样框架，在保持不同权重分配下紧密估计方差的同时，最小化摘要大小。
• 即使查询在采样后才确定，也能支持对子群体的近似查询处理。
• 在统一框架中支持分散式（时间/位置分离）和共置式（多属性）数据模型。

提出的方法

• 使用协调的bottom-k草图对键进行采样，确保在不同权重分配下选择相同的键集，从而保证样本之间的对齐。
• 应用一种协调机制，优先选择在各分配中总权重较高的键，以提升样本复用率和估计精度。
• 利用协调样本推导加权和与L₁差值的包含式估计器，其方差可被严格证明优于独立样本的估计器。
• 引入共享指数作为量化不同权重分配间样本复用程度的指标，协调草图可最小化该指数。
• 采用包含式估计器，利用来自不同权重分配样本之间的重叠来降低方差。
• 同时支持独立和协调采样，并为多权重聚合提供方差减少的理论保证。

实验结果

研究问题

• RQ1 如何设计一种采样框架，以支持对向量加权数据中多权重聚合的准确估计？
• RQ2 加权样本之间的协调对L₁差值和最大/最小值聚合估计器的方差有何影响？
• RQ3 在估计精度和摘要大小方面，协调采样与独立采样相比表现如何？
• RQ4 协调采样能否在保证每个独立权重分配均包含嵌入样本的同时，维持最优摘要大小？
• RQ5 哪些指标能有效量化协调在样本复用和估计效率方面的优势？

主要发现

• 与独立采样相比，协调加权采样将多权重聚合的估计方差降低了数个数量级。
• 协调草图的共享指数低至0.25，而独立草图的共享指数最高可达1.0，表明样本复用率显著更高。
• 在相同样本大小下，由于不同权重分配间重叠度更高，协调草图的置信区间比独立草图更紧密。
• 在实际评估中，协调采样在包括IP网络流量和股票报价在内的多种数据集上均优于独立采样。
• 该框架可在极小的摘要大小下，实现对子群体中L₁差值、最大值、最小值和加权和的高精度估计。
• 理论分析证实，协调草图最小化了共享指数，在权重分配相似时实现了最优样本复用。