[论文解读] Deterministic Heavy Hitters with Sublinear Query Time

Yi Li, Vasileios Nakos|arXiv (Cornell University)|Dec 5, 2017

SARS-CoV-2 detection and testing被引用 2

一句话总结

该论文首次提出了在翻转流模型中针对ℓ1重头像的确定性抽样算法，实现次线性查询时间，达到O(ϵ⁻² log*ϵ⁻¹)行——仅比最优超线性时间算法多出一个log*因子。该方法基于分层分解与矩阵复合的递归迭代恢复框架，实现快速解码，同时保持强ℓ∞/ℓ1误差保证。

ABSTRACT

This paper studies the classic problem of finding heavy hitters in the turnstile streaming model. We give the first deterministic linear sketch that has $O(ε^{-2} \log n \cdot \log^*(ε^{-1}))$ rows and answers queries in sublinear time. The number of rows is only a factor of $\log^*(ε^{-1})$ more than that used by the state-of-the-art algorithm prior to our paper due to Nelson, Nguyen and Woodruff (RANDOM'12). Their algorithm runs in time at least linear in the universe size $n$, which is highly undesirable in streaming applications. Our approach is based on an iterative procedure, where most unrecovered heavy hitters are identified in each iteration. Although this technique has been extensively employed in the related problem of sparse recovery, this is the first time, to the best of our knowledge, that it has been used in the context of $\ell_1$ heavy hitters. Along the way, we also give sublinear time algorithms for the closely related problems of combinatorial group testing and $\ell_1/\ell_1$ compressed sensing, matching the space usage of previous (super-)linear time algorithms.

研究动机与目标

• 设计一种在一般翻转流模型中实现次线性查询时间的ℓ1重头像确定性抽样算法。
• 在ℓ∞/ℓ1误差保证下，最小化抽样大小，同时确保统一重构（“对所有”保证）。
• 实现接近最优的空间使用效率，与超线性时间算法相当，但解码速度显著更快。
• 探索强显式构造是否能在严格翻转流模型中实现次线性解码与接近最优的行数。

提出的方法

• 采用迭代恢复过程，在每轮中识别出最未恢复的重头像，利用输入向量的分层分解。
• 使用递归矩阵复合策略：通过深度为log logk n的二叉树，将索引按高位和低位比特分割，将问题分解为更小的子问题。
• 应用基础抽样矩阵族Mn,k，其行数为O(k² log²n)，支持在时间T(n,k,|S|)内对|S|个支持集实现O(k)-稀疏恢复。
• 通过乘积映射π: [n] → [N1] × [N2]组合高位和低位比特分量的结果，确保重头像索引在恢复支持集的交集中被恢复。
• 隐式使用列表可恢复码与基于扩展器的构造，以确保在一般翻转流模型中的鲁棒性。
• 递归分解直至子问题足够小（≤25k²），然后对每个组件应用基础恢复，将结果合并为最终的O(k)-稀疏估计。

实验结果

研究问题

• RQ1 在一般翻转流模型中，是否能设计出一种确定性抽样算法，实现ℓ1重头像的次线性查询时间，同时保持接近最优的空间使用？
• RQ2 为实现确定性重头像的次线性解码时间，抽样大小的最小额外开销（以ϵ⁻²表示）是多少？
• RQ3 递归矩阵复合框架是否可用于将解码时间从O(n)减少到o(n)，同时保持ℓ∞/ℓ1误差保证？
• RQ4 在严格翻转流模型中，是否可能构造出具有O(ϵ⁻² log n)行且实现次线性解码时间的强显式矩阵？
• RQ5 能否将运行时间中对ϵ的依赖改进为O(ϵ⁻² poly(log n))，而不牺牲确定性或抽样大小？ ▶

主要发现

• 该论文首次在一般翻转流模型中实现了ℓ1重头像的确定性次线性时间抽样算法，抽样长度为O(ϵ⁻² log*ϵ⁻¹)，仅比最优超线性时间算法多出一个log*因子。
• 在严格翻转流模型中，该算法实现O(ϵ⁻² log³n / log³(1/ϵ))行与O(ϵ⁻³ log³n)解码时间，且具有强显式构造。
• 递归分解框架通过在每一层减小问题规模，利用深度为log logk n的二叉树，实现次线性解码。
• 该方法确保ℓ∞/ℓ1误差保证被保留：∥x − ˆx∥∞ ≤ 1/k ∥x−k∥₁，其中k = ⌈1/ϵ⌉。
• 该构造在空间使用上与先前的超线性时间算法相当，同时实现了次线性查询时间。
• 该工作通过证明迭代恢复与分层分解可有效应用于重头像问题（而不仅限于稀疏恢复），为确定性流算法开辟了新路径。