[论文解读] Frequency Estimation in Data Streams: Learning the Optimal Hashing Scheme

Dimitris Bertsimas, Vassilis Digalakis|arXiv (Cornell University)|Jul 17, 2020

Caching and Content Delivery参考文献 48被引用 5

一句话总结

本文提出一种基于学习的方法，通过混合整数线性规划（MILP）与机器学习联合优化哈希方案，实现数据流中的频率估计。该方法利用预观测的数据流前缀，为已见元素计算近似最优的哈希分配，并训练分类器以处理未见元素，实现平均估计误差降低1–2个数量级，预期误差幅度降低45–90%，优于当前最先进方法。

ABSTRACT

We present a novel approach for the problem of frequency estimation in data streams that is based on optimization and machine learning. Contrary to state-of-the-art streaming frequency estimation algorithms, which heavily rely on random hashing to maintain the frequency distribution of the data steam using limited storage, the proposed approach exploits an observed stream prefix to near-optimally hash elements and compress the target frequency distribution. We develop an exact mixed-integer linear optimization formulation, which enables us to compute optimal or near-optimal hashing schemes for elements seen in the observed stream prefix; then, we use machine learning to hash unseen elements. Further, we develop an efficient block coordinate descent algorithm, which, as we empirically show, produces high quality solutions, and, in a special case, we are able to solve the proposed formulation exactly in linear time using dynamic programming. We empirically evaluate the proposed approach both on synthetic datasets and on real-world search query data. We show that the proposed approach outperforms existing approaches by one to two orders of magnitude in terms of its average (per element) estimation error and by 45-90% in terms of its expected magnitude of estimation error.

研究动机与目标

• 解决在存储资源有限的高吞吐量数据流中进行频率估计的挑战。
• 通过从观测到的数据流前缀中学习最优或近似最优的哈希方案，改进随机哈希在流式频率估计中的表现。
• 开发一种方法，在显著降低估计误差的同时，保持低空间占用和实时性能。
• 通过混合优化与机器学习方法，实现对已见和未见元素的准确频率估计。

提出的方法

• 将最优哈希问题建模为混合整数线性规划（MILP），以最小化观测数据流前缀中元素的估计误差。
• 采用块坐标下降法求解大规模实例，对特定情况使用精确动态规划。
• 引入辅助变量以线性化由分数估计误差和联合哈希概率引起的双线性项。
• 训练分类器，根据元素特征将其映射到对应桶中，实现低延迟频率估计。
• 采用基于Sketch的查询机制，其中频率估计值为各桶中频率的平均值。
• 通过布隆过滤器支持自适应更新，以维护新观测元素的频率计数。

实验结果

研究问题

• RQ1 我们能否从数据流前缀中学习到最优哈希方案，以最小化频率估计误差？
• RQ2 如何利用机器学习将最优哈希扩展至未见元素，同时保持低空间占用和实时性能？
• RQ3 基于学习的哈希相比随机哈希在估计误差方面能带来多大性能提升？
• RQ4 所提出的优化与学习框架在大规模数据流场景下的可扩展性如何？

主要发现

• 与现有流式算法相比，所提方法将每个元素的平均估计误差降低了1–2个数量级。
• 与基线方法相比，估计误差的期望幅度降低了45–90%。
• MILP建模可对含数千个元素的问题实现精确求解，而块坐标下降算法可扩展至数万个元素。
• 动态规划变体可在线性时间内求解特定情形，展现出对结构化实例的计算高效性。
• 在真实世界搜索查询数据上的实证评估表明，该方法在性能上显著优于当前最先进流式频率估计器。
• 该方法在训练后维持恒定的更新与查询时间，满足实时处理与亚线性空间约束。