[论文解读] Learning-based Support Estimation in Sublinear Time

Talya Eden, Piotr Indyk+4 more|arXiv (Cornell University)|Jun 15, 2021

Machine Learning and Algorithms参考文献 26被引用 8

一句话总结

本文提出了一种基于学习的方法，通过利用估计元素频率的机器学习预测器，实现亚线性时间的支持集大小估计。当预测器与真实频率保持在常数因子以内时，该方法将样本复杂度降低至 $\log(1/\varepsilon) \cdot n^{1 - \Theta(1/\log(1/\varepsilon))}$，显著优于先前的 $O(n / \log n)$ 边界，并在真实世界数据集上的实验中实现了高达3倍的准确率提升。

ABSTRACT

We consider the problem of estimating the number of distinct elements in a large data set (or, equivalently, the support size of the distribution induced by the data set) from a random sample of its elements. The problem occurs in many applications, including biology, genomics, computer systems and linguistics. A line of research spanning the last decade resulted in algorithms that estimate the support up to $ \pm \varepsilon n$ from a sample of size $O(\log^2(1/\varepsilon) \cdot n/\log n)$, where $n$ is the data set size. Unfortunately, this bound is known to be tight, limiting further improvements to the complexity of this problem. In this paper we consider estimation algorithms augmented with a machine-learning-based predictor that, given any element, returns an estimation of its frequency. We show that if the predictor is correct up to a constant approximation factor, then the sample complexity can be reduced significantly, to \[ \ \log (1/\varepsilon) \cdot n^{1-Θ(1/\log(1/\varepsilon))}. \] We evaluate the proposed algorithms on a collection of data sets, using the neural-network based estimators from {Hsu et al, ICLR'19} as predictors. Our experiments demonstrate substantial (up to 3x) improvements in the estimation accuracy compared to the state of the art algorithm.

研究动机与目标

• 解决使用亚线性采样估计大规模数据集中不同元素数量的根本性问题。
• 在传统方法已知的 $O(n / \log n)$ 下界之外，进一步降低支持集大小估计的样本复杂度。
• 探究用于估计元素频率的机器学习预测器是否能够实现更高效的估计。
• 设计并评估一种将预测器置信度与统计估计技术相结合的新算法。
• 在使用训练好的神经网络预测器的真实世界数据集上，对方法进行实证验证，展示其更高的准确性和鲁棒性。

提出的方法

• 该算法将概率范围划分为几何级数递增的区间，以实现细粒度估计。
• 它使用预测器 $\Pi(i)$ 根据估计频率将采样元素分配到相应区间。
• 在每个区间内，使用具有区间特定参数的切比雪夫多项式，对修改后的Wu-Yang估计器进行应用。
• 该方法引入了一项合理性检查，以过滤掉不可靠的区间估计，从而提高鲁棒性。
• 它动态选择区间基底，以在准确性和稳定性之间取得平衡，避免因预测质量差而过拟合。
• 理论分析表明，当预测器与真实频率保持在常数因子以内时，样本复杂度可降至 $\log(1/\varepsilon) \cdot n^{1 - \Theta(1/\log(1/\varepsilon))}$。

实验结果

研究问题

• RQ1 能够估计元素频率的机器学习预测器是否可以改善支持集大小估计的样本复杂度？
• RQ2 当预测器与真实频率保持在常数因子以内时，理论上的样本复杂度能获得多大提升？
• RQ3 当预测器随时间推移变得过时或准确度下降时，该算法如何保持准确性？
• RQ4 在实际应用中，该方法在多大程度上可以超越最先进的Wu-Yang估计器？
• RQ5 该算法对预测器质量的敏感程度如何？在预测不完美时，哪些机制可确保其鲁棒性？

主要发现

• 当预测器与真实频率保持在常数因子以内时，所提算法的样本复杂度为 $\log(1/\varepsilon) \cdot n^{1 - \Theta(1/\log(1/\varepsilon))}$，优于 $O(n / \log n)$ 的边界。
• 在AOL数据集中，当样本量分别为 $n$ 的5%和10%时，该算法相比Wu-Yang估计器实现了中位数2.2倍至3.0倍的准确率提升。
• 在IP数据集中，当样本量分别为 $n$ 的1%和2.5%时，该算法相比Wu-Yang估计器实现了中位数1.7倍至3.0倍的准确率提升。
• 该算法在时间上保持鲁棒性，即使预测器变得过时，也能在AOL和IP数据集的多个昼夜及分钟时间点上维持一致的性能表现。
• 合理性检查机制能有效过滤不可靠的区间估计，防止在预测器不准确时导致性能下降。
• 当预测器质量下降时，该算法的性能会收敛至Wu-Yang估计器的水平，确保渐进式退化。