[论文解读] Sampling Sketches for Concave Sublinear Functions of Frequencies

Edith Cohen, Ofir Geri|arXiv (Cornell University)|Jul 4, 2019

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种可组合的采样草图（sampling sketches），用于估计大规模分布式数据集中关键频率的凹性次线性函数。通过实现大小高效、统计准确的按函数加权贡献的采样，该方法在草图大小接近目标样本大小的前提下，实现了与理想样本相当的估计质量。

ABSTRACT

We consider massive distributed datasets that consist of elements modeled as key-value pairs and the task of computing statistics or aggregates where the contribution of each key is weighted by a function of its frequency (sum of values of its elements). This fundamental problem has a wealth of applications in data analytics and machine learning, in particular, with concave sublinear functions of the frequencies that mitigate the disproportionate effect of keys with high frequency. The family of concave sublinear functions includes low frequency moments ($p \leq 1$), capping, logarithms, and their compositions. A common approach is to sample keys, ideally, proportionally to their contributions and estimate statistics from the sample. A simple but costly way to do this is by aggregating the data to produce a table of keys and their frequencies, apply our function to the frequency values, and then apply a weighted sampling scheme. Our main contribution is the design of composable sampling sketches that can be tailored to any concave sublinear function of the frequencies. Our sketch structure size is very close to the desired sample size and our samples provide statistical guarantees on the estimation quality that are very close to that of an ideal sample of the same size computed over aggregated data. Finally, we demonstrate experimentally the simplicity and effectiveness of our methods.

研究动机与目标

• 解决在关键贡献按其频率的凹性次线性函数加权时，对大规模分布式数据集高效计算统计量的挑战。
• 通过设计可组合草图，避免完整频率聚合，克服传统基于聚合的采样方法的低效性。
• 实现按函数加权贡献（例如，log(频率)，p-范数，p ≤ 1）的采样，同时最小化空间占用并提供强大的统计保证。
• 在保持与在聚合数据上计算的理想样本相当的估计精度的同时，使草图大小接近目标样本大小。

提出的方法

• 设计可组合的采样草图，以紧凑形式表示关键-频率对，而无需完整聚合。
• 针对任意凹性次线性频率函数（包括对数函数、截断函数及低阶矩，p ≤ 1）定制草图结构。
• 采用加权采样原理，使关键项以与其函数加权贡献成比例的概率被选中。
• 通过确保草图具有可组合性——来自不同数据分区的草图可无须从头计算直接合并——支持分布式计算。
• 利用凹性次线性函数的性质，对估计误差进行有界控制，确保统计保真度。
• 构建草图，使其大小渐近接近目标样本大小，从而最小化空间开销。

实验结果

研究问题

• RQ1 我们能否设计出可在分布式系统中支持对关键频率的凹性次线性函数进行准确估计的可组合采样草图？
• RQ2 该草图的估计质量能多接近在完全聚合数据上计算的理想样本的质量？
• RQ3 此类草图的空间复杂度相对于目标样本大小如何？
• RQ4 该方法能否推广至任意凹性次线性函数，包括对数函数和截断函数？
• RQ5 在实际性能方面，与基于朴素聚合的采样方法相比，该草图在准确性和效率方面表现如何？

主要发现

• 所提出的可组合采样草图在估计质量上非常接近在相同大小下于聚合数据上计算的理想样本。
• 草图大小非常接近目标样本大小，显著降低了分布式环境中的空间开销。
• 该方法支持任意频率的凹性次线性函数，包括低频矩（p ≤ 1）、对数函数和截断函数。
• 草图具有可组合性，可在无需完整频率聚合的情况下实现高效的分布式计算。
• 实验结果表明，该方法在实际场景中具有简洁性和高效性。
• 对估计误差的统计保证较强，且与理想采样的理论预期高度一致。