[论文解读] Asymptotically exact streaming algorithms

Marc Heinrich, Alexander Munteanu+1 more|arXiv (Cornell University)|Aug 8, 2014

Stochastic Gradient Optimization Techniques参考文献 27被引用 4

一句话总结

本文提出了渐近精确流算法——单遍扫描算法，其空间复杂度为多对数级，且随着数据流长度增加，近似比趋近于1。作者在较弱的输入假设下，为频率矩、聚类和回归问题建立了正面结果，同时证明了紧致的空间下界，表明在无数据结构约束的情况下，此类改进是不可能实现的。

ABSTRACT

We introduce a new computational model for data streams: asymptotically exact streaming algorithms. These algorithms have an approximation ratio that tends to one as the length of the stream goes to infinity while the memory used by the algorithm is restricted to polylog(n) size. Thus, the output of the algorithm is optimal in the limit. We show positive results in our model for a series of important problems that have been discussed in the streaming literature. These include computing the frequency moments, clustering problems and least squares regression. Our results also include lower bounds for problems, which have streaming algorithms in the ordinary setting but do not allow for sublinear space algorithms in our model.

研究动机与目标

• 形式化一种新的流算法计算模型，使得近似误差随着数据流长度趋于无穷而消失。
• 确定在多对数空间约束下，哪些基础流问题可实现误差趋于零的算法。
• 识别实现渐近精确性的输入流所需结构假设，以区分在该模型中本质上受限的问题。
• 为回归和聚类问题提供紧致的空间复杂度下界，表明某些假设（如最小奇异值发散、按行顺序输入）是必不可少的。
• 探索在标准模型中可实现 $(1\pm\varepsilon)$-近似的问题中，哪些问题可实现渐近精确解，哪些不可，以划定边界。

提出的方法

• 将渐近精确流算法定义为单遍扫描算法，其空间复杂度为 $\operatorname{polylog}(n)$，且满足当 $n \to \infty$ 时，$\frac{V(s^{(n)})}{V(s^{(n)}_{\text{opt}})} \to 1$ 的概率趋于1。
• 将现有的 $F_2$ 频率矩估计流算法进行适配，使其在无需额外假设下仍能实现渐近精确性。
• 引入对输入流的结构假设（如最小奇异值发散、按行顺序处理），以在回归和聚类问题中实现渐近精确性。
• 通过从索引问题的归约证明空间下界，表明在某些条件下，最小二乘回归需要 $\Omega(nd)$ 的内存。
• 构造修改后的矩阵和向量输入 ($A'$, $b'$)，以模拟精度的逐步提升，并通过通信复杂度论证强制得出内存下界。
• 通过证明假设的必要性，表明即使最小奇异值发散，若放松这些假设，渐近精确性仍会失效。

实验结果

研究问题

• RQ1 在多对数空间约束下，哪些基础流问题可实现渐近精确算法？
• RQ2 为在回归和聚类问题中实现渐近精确性，输入流需要哪些结构假设？
• RQ3 对于 $k$-中心聚类问题，能否设计出渐近精确算法，即使 $k$-均值和 $k$-中位数问题已有此类算法？
• RQ4 在渐近精确模型中，空间复杂度下界与标准流模型中的下界相比如何？
• RQ5 在此新模型下，是否可能在频繁项计数或图流问题中实现渐近精确性？

主要发现

• $F_2$ 频率矩可在多对数空间下实现渐近精确的流式估计，且无需额外假设。
• $F_0$ 频率矩即使在标准模型中存在 $(1\pm\varepsilon)$-近似算法，也无法实现渐近精确的流式算法。
• 在确保无单个点主导解的温和假设下，$k$-均值和 $k$-中位数聚类存在渐近精确算法。
• 对于最小二乘回归，即使最小奇异值发散，在最坏情况下仍需要 $\Omega(nd)$ 的内存，除非输入按行顺序处理。
• 输入按行顺序处理的假设对于回归问题中实现亚线性空间渐近精确性是必要的，这由通信复杂度下界所证明。
• 仅最小奇异值发散不足以保证回归问题中实现亚线性空间渐近精确性；按行顺序处理的假设同样至关重要。