[论文解读] Composable Sketches for Functions of Frequencies: Beyond the Worst Case

Edith Cohen, Ofir Geri+1 more|IT University Of Copenhagen (IT University of Copenhagen)|Apr 9, 2020

Machine Learning and Algorithms参考文献 47被引用 5

一句话总结

本文提出可组合的sketch，通过利用噪声ML预测或实际频率分布，实现对‘困难’频率函数（如高阶矩p > 2和阈值函数）的精确、小空间采样。令人惊讶的是，即使在最坏情况下的下界表明需要多项式大小，多项式对数大小的sketch在实践中仍能达到高精度。

ABSTRACT

Recently there has been increased interest in using machine learning techniques to improve classical algorithms. In this paper we study when it is possible to construct compact, composable sketches for weighted sampling and statistics estimation according to functions of data frequencies. Such structures are now central components of large-scale data analytics and machine learning pipelines. However, many common functions, such as thresholds and p-th frequency moments with p > 2, are known to require polynomial-size sketches in the worst case. We explore performance beyond the worst case under two different types of assumptions. The first is having access to noisy advice on item frequencies. This continues the line of work of Hsu et al. (ICLR 2019), who assume predictions are provided by a machine learning model. The second is providing guaranteed performance on a restricted class of input frequency distributions that are better aligned with what is observed in practice. This extends the work on heavy hitters under Zipfian distributions in a seminal paper of Charikar et al. (ICALP 2002). Surprisingly, we show analytically and empirically that "in practice" small polylogarithmic-size sketches provide accuracy for "hard" functions.

研究动机与目标

• 弥合频率统计sketch理论最坏情况下的下界与实际性能之间的差距。
• 设计支持加权采样和频率函数统计估计的可组合sketch，尤其针对理论上被认为是‘困难’的函数。
• 通过引入噪声ML预测或真实频率分布，探索超越最坏情况的性能。
• 证明小尺寸sketch可在真实世界数据上准确估计高阶矩（p > 2）和阈值函数。

提出的方法

• 提出一个利用ML模型提供的噪声建议来指导频率函数采样概率的可组合sketch框架。
• 基于每个键相对于其后继较低排名键尾部的相对权重，提出一个基于常数c的通用模拟条件。
• 以多目标拟凹-次线性采样作为基础sketch，其可模拟一大类具有有界开销的函数。
• 应用引理5.6，将通用模拟开销界为h′(1 + 1/c)，其中h′为模拟拟凹-次线性函数的开销。
• 在真实世界数据集上评估sketch性能，采用PPS（与大小成比例的概率）采样，其基础概率源自ℓ₁、ℓ₂和拟凹-次线性函数。
• 分析在实际频率分布下sketch大小与估计误差之间的权衡，表明小尺寸sketch在实践中已足够。

实验结果

研究问题

• RQ1 尽管存在最坏情况下的下界限制，可组合sketch在实际中能否对‘困难’频率函数（如p > 2、阈值）实现多项式对数大小？
• RQ2 在频率上引入噪声ML预测如何提升sketch对频率函数统计估计的准确性？
• RQ3 频率分布的何种结构条件可使小尺寸sketch准确模拟一大类频率函数？
• RQ4 标准sketch（如ℓ₁或ℓ₂采样）在真实世界数据上对困难函数的通用模拟能力在多大程度上成立？

主要发现

• 多项式对数大小的sketch在真实世界数据上对高阶频率矩（p > 2）和阈值函数的估计中表现出高精度，突破了最坏情况下的下界限制。
• 在实际分布下，ℓ₁和拟凹-次线性sketch的通用模拟开销被限制在[92, 1673]范围内，当hε⁻² ≪ n时具有实际意义。
• 基于ℓ₂的sketch在高阶矩上表现良好，但因尾部覆盖不足，对‘缓慢增长’函数的模拟开销较差。
• 当频率分布满足minᵢ (iwᵢ / ∑ⱼ>i wⱼ) ≥ c时，sketch可基于开销h′(1 + 1/c)通用模拟所有拟凹-次线性函数。
• 实证结果表明，即使为‘简单’函数（如ℓ₁、ℓ₂）设计的sketch，也能在真实世界数据上准确估计‘困难’函数，尤其在重尾分布下表现更优。
• 通过截断函数条件实现的通用模拟框架，为小尺寸sketch在实践中表现良好提供了理论依据，尽管存在理论限制。