[论文解读] An Embarrassingly Parallel Optimal-Space Cardinality Estimation Algorithm

Emin Karayel|arXiv (Cornell University)|Jan 1, 2023

Cryptography and Data Security被引用 2

一句话总结

本文提出了一种新颖的、可轻松并行化的基数估计算法，其空间复杂度达到最优的 O(ε⁻² ln(δ⁻¹) + ln n)，与 Błasiok 在 2020 年提出的顺序最优算法一致，同时支持高效的合并操作，适用于分布式和并行处理。该方法通过一种新颖的基于哈希的状态表示方式和随机化合并过程，将 Błasiok 的算法转化为无历史依赖且可合并的形式，降低了实现复杂度，并减少了所需伪随机对象的数量。

ABSTRACT

In 2020 Blasiok (ACM Trans. Algorithms 16(2) 3:1-3:28) constructed an optimal space streaming algorithm for the cardinality estimation problem with the space complexity of $\mathcal O(\varepsilon^{-2} \ln(δ^{-1}) + \ln n)$ where $\varepsilon$, $δ$ and $n$ denote the relative accuracy, failure probability and universe size, respectively. However, his solution requires the stream to be processed sequentially. On the other hand, there are algorithms that admit a merge operation; they can be used in a distributed setting, allowing parallel processing of sections of the stream, and are highly relevant for large-scale distributed applications. The best-known such algorithm, unfortunately, has a space complexity exceeding $Ω(\ln(δ^{-1}) (\varepsilon^{-2} \ln \ln n + \ln n))$. This work presents a new algorithm that improves on the solution by Blasiok, preserving its space complexity, but with the benefit that it admits such a merge operation, thus providing an optimal solution for the problem for both sequential and parallel applications. Orthogonally, the new algorithm also improves algorithmically on Blasiok's solution (even in the sequential setting) by reducing its implementation complexity and requiring fewer distinct pseudo-random objects.

研究动机与目标

• 解决在分布式流式环境中缺乏最优空间复杂度、可合并的基数估计算法的问题。
• 在保持 Błasiok 2020 年顺序算法最优空间复杂度 O(ε⁻² ln(δ⁻¹) + ln n) 的同时，支持并行和分布式处理。
• 与以往可合并的算法相比，降低实现复杂度和所需不同伪随机对象的数量。
• 提供一种在空间上最优且与分布式系统（包括 Map-Reduce 和 OLAP 流水线）完全兼容的解决方案。

提出的方法

• 将 Błasiok 的顺序最优空间复杂度算法转化为无历史依赖的形式，确保无论流元素顺序如何，状态都保持确定性。
• 提出一种新颖的合并操作，通过使用随机化合并过程聚合基于哈希的计数器，将独立处理单元的状态进行合并。
• 采用分层哈希结构，其中每一层跟踪流中子集的最小哈希值，从而实现高效的合并。
• 使用随机采样策略，基于每层观察到的最小哈希值来估计不同元素的数量。
• 应用集中化界限和尾部不等式（例如，马尔可夫不等式和切比雪夫不等式）来证明在合并操作下的正确性和误差界限。
• 通过在不同层级和处理过程中复用哈希函数，减少所需伪随机对象的数量，从而提高效率。

实验结果

研究问题

• RQ1 能否在不牺牲空间效率的前提下，使一种最优空间复杂度的基数估计算法既可合并又可轻松并行化？
• RQ2 如何修改 Błasiok 2020 年提出的最优空间复杂度顺序算法，使其在分布式进程中支持确定性的合并操作？
• RQ3 在可合并的环境中，实现最优空间复杂度所需的最少伪随机对象数量是多少？
• RQ4 能否在保持最优空间复杂度和误差界限的前提下，降低现有可合并算法的实现复杂度？
• RQ5 所提出的合并操作是否保持了原始算法的相对误差保证 ε 和失败概率 δ？

主要发现

• 所提出的算法实现了最优空间复杂度 O(ε⁻² ln(δ⁻¹) + ln n)，与 Błasiok 2020 年的顺序算法一致。
• 该算法支持完全分布式的、可轻松并行化的执行模型，并具备正确且高效的合并操作。
• 已证明该合并操作保持了原始算法的误差界限，确保 P(|Y − |A|| ≤ ε|A|) ≥ 1 − δ。
• 与以往的可合并算法相比，该方法减少了所需不同伪随机对象的数量，提升了实际效率。
• 该算法具有无历史依赖性：最终状态仅取决于处理过的元素集合，而不依赖于其顺序或执行树结构。
• 理论分析证实，合并操作保持了集中化性质，失败概率被控制在 δ 以内，误差被控制在 ε 以内。