[论文解读] Improved Approximation Algorithms for Earth-Mover Distance in Data Streams

Arman Yousefi, Rafail Ostrovsky|arXiv (Cornell University)|Apr 24, 2014

Data Management and Algorithms参考文献 18被引用 4

一句话总结

该论文提出了两种流式算法，用于在二维离散网格 $[\Delta]^2$ 上近似计算两个点多重集之间的地球移动距离（EMD），其中其中一个点集仅有 $k = \log^{O(1)}(\Delta n)$ 个不同的点。第一种算法在仅插入模型下实现了 $(1+\epsilon)$-近似，空间复杂度为 $O(k\epsilon^{-2}\log^4 n)$；第二种算法在交换模型下提供了 $O(\min(k^3, \log\Delta))$-近似的空间复杂度为 $O(\log^3\Delta \cdot \log\log\Delta \cdot \log n)$，其核心方法为分层网格分解与 $\ell_1$ 投影技术。

ABSTRACT

For two multisets $S$ and $T$ of points in $[Δ]^2$, such that $|S| = |T|= n$, the earth-mover distance (EMD) between $S$ and $T$ is the minimum cost of a perfect bipartite matching with edges between points in $S$ and $T$, i.e., $EMD(S,T) = \min_{π:S ightarrow T}\sum_{a\in S}||a-π(a)||_1$, where $π$ ranges over all one-to-one mappings. The sketching complexity of approximating earth-mover distance in the two-dimensional grid is mentioned as one of the open problems in the literature. We give two algorithms for computing EMD between two multi-sets when the number of distinct points in one set is a small value $k=\log^{O(1)}(Δn)$. Our first algorithm gives a $(1+ε)$-approximation using $O(kε^{-2}\log^{4}n)$ space and works only in the insertion-only model. The second algorithm gives a $O(\min(k^3,\logΔ))$-approximation using $O(\log^{3}Δ\cdot\log\logΔ\cdot\log n)$-space in the turnstile model.

研究动机与目标

• 解决在数据流约束下二维网格中 EMD 投影复杂度的开放问题。
• 设计高效的流式算法，在其中一个输入点集具有少量不同点时，以次线性空间近似 EMD。
• 在仅插入与交换两种数据流模型下，实现优于以往工作的近似比。
• 通过分层网格分解与 $\ell_1$ 嵌入技术，提供近似质量的理论保证。

提出的方法

• 算法将 $[\Delta]^2$ 网格按层级进行分解，每一层的单元格大小递增，以捕捉不同尺度下的匹配代价。
• 在每一层 $i$，计算 $C_i = \min_j \|V_{G^j_i}(S) - V_{G^j_i}(T)\|_1$，表示在网格单元中点数的 $\ell_1$ 差异。
• 通过路径分解论证，将最优匹配边分配至单元格大小不超过边的 $\ell_1$ 范数的层级，从而建立下界。
• 最终估计值为 $Y = \frac{1}{2}\sum_i 2^i \cdot C_i$，证明其与真实 EMD 的差距在 $O(k^2)$ 以内。
• 在交换模型中，将分层估计与 Indyk（2007）提供的 $O(\log\Delta)$-近似结果结合，返回两者中的最小值。
• 通过随机采样与 $\ell_1$ 投影技术，仅维护 $O(\log^3\Delta \cdot \log\log\Delta \cdot \log n)$ 的空间，实现 $\ell_1$ 差异估计。

实验结果

研究问题

• RQ1 当一个点集具有少量不同点时，是否可在仅插入模型下，以亚对数空间实现二维网格中 EMD 的 $(1+\epsilon)$-近似？
• RQ2 在交换模型下，给定有限的不同点数量，使用亚对数空间时，EMD 的最佳近似比是多少？
• RQ3 分层网格分解与 $\ell_1$ 投影技术能否结合使用，以在流式环境中提供强近似保证？
• RQ4 是否存在一种方法，可结合多种近似策略，以获得更优的整体近似比？

主要发现

• 第一种算法在仅插入模型下，以 $O(k\epsilon^{-2}\log^4 n)$ 的空间复杂度实现了 EMD 的 $(1+\epsilon)$-近似，其中 $k$ 为一个点集中的不同点数量。
• 第二种算法在交换模型下，以 $O(\log^3\Delta \cdot \log\log\Delta \cdot \log n)$ 的空间复杂度，实现了 $O(\min(k^3, \log\Delta))$-近似。
• 分析证明，分层估计 $Y = \frac{1}{2}\sum_i 2^i C_i$ 与真实 EMD 的差距在 $O(k^2)$ 以内，结合投影方法后可获得 $O(k^3)$-近似。
• 该算法将分层估计 $Y$ 与先前工作提供的 $O(\log\Delta)$-近似结果结合，确保最终估计值与真实 EMD 的差距在 $O(\min(k^3, \log\Delta))$ 以内。
• 该方法建立了下界，证明 $Y$ 至少为真实 EMD 的 $\Omega(1/k^2)$，这对近似保证至关重要。
• 结果表明，当一个输入点集具有少量不同点时，亚对数空间足以实现非平凡的 EMD 近似，显著推进了流式 EMD 计算的前沿水平。