[论文解读] Optimal compression of approximate Euclidean distances

Noga Alon, Bo’az Klartag|arXiv (Cornell University)|Oct 2, 2016

Computational Geometry and Mesh Generation参考文献 4被引用 1

一句话总结

该论文提出了一种最优算法，用于以加法误差 ε 压缩 R^k 中 n 个点之间的近似欧几里得距离，实现每点 O(f(n,k,ε)/n) 位的压缩包大小。该方法提供了一种线性时间解码机制，并在 ε ≥ 1/n^{0.49} 时建立了压缩包大小的紧致界，同时证明了维度降低的新极限，并提出了一种针对加法误差 Johnson-Lindenstrauss 嵌入的随机化算法。

ABSTRACT

Let $X$ be a set of $n$ points of norm at most $1$ in the Euclidean space $R^k$, and suppose $\varepsilon>0$. An $\varepsilon$-distance sketch for $X$ is a data structure that, given any two points of $X$ enables one to recover the square of the (Euclidean) distance between them up to an {\em additive} error of $\varepsilon$. Let $f(n,k,\varepsilon)$ denote the minimum possible number of bits of such a sketch. Here we determine $f(n,k,\varepsilon)$ up to a constant factor for all $n \geq k \geq 1$ and all $\varepsilon \geq \frac{1}{n^{0.49}}$. Our proof is algorithmic, and provides an efficient algorithm for computing a sketch of size $O(f(n,k,\varepsilon)/n)$ for each point, so that the square of the distance between any two points can be computed from their sketches up to an additive error of $\varepsilon$ in time linear in the length of the sketches. We also discuss the case of smaller $\varepsilon>2/\sqrt n$ and obtain some new results about dimension reduction in this range. In particular, we show that for any such $\varepsilon$ and any $k \leq t=\frac{\log (2+\varepsilon^2 n)}{\varepsilon^2}$ there are configurations of $n$ points in $R^k$ that cannot be embedded in $R^{\ell}$ for $\ell < ck$ with $c$ a small absolute positive constant, without distorting some inner products (and distances) by more than $\varepsilon$. On the positive side, we provide a randomized polynomial time algorithm for a bipartite variant of the Johnson-Lindenstrauss lemma in which scalar products are approximated up to an additive error of at most $\varepsilon$. This variant allows a reduction of the dimension down to $O(\frac{\log (2+\varepsilon^2 n)}{\varepsilon^2})$, where $n$ is the number of points.

研究动机与目标

• 确定在 R^k 中存储 n 个点之间平方欧几里得距离所需的最小压缩包大小 f(n,k,ε)，其加法误差为 ε。
• 设计一种高效算法，计算每点大小为 O(f(n,k,ε)/n) 的压缩包，从而实现在线性时间内恢复距离。
• 探索当 ε > 2/√n 时维度降低的根本限制，特别是内积和距离畸变方面。
• 开发一种针对加法误差 Johnson-Lindenstrauss 引理的二分图变体的随机化多项式时间算法。
• 为 ε ≥ 1/n^{0.49} 建立压缩包大小的紧致界，并分析 ε 更小但仍有非平凡意义的区间。

提出的方法

• 该方法基于随机投影和针对加法误差界量身定制的降维技术，提出一种新型的 ε-距离压缩包构造。
• 采用一种随机嵌入方案，在二分图设置中保持标量积的加法误差 ε，从而实现维度降低至 O(log(2+ε²n)/ε²) 维。
• 该算法使用 O(f(n,k,ε)/n) 位为每个点计算压缩包，使得任意两点之间的平方距离可在线性于压缩包长度的时间内恢复。
• 分析利用了集中不等式以及随机投影下内积保持性质，以界定加法畸变。
• 通过构造在低维嵌入下仍保持显著畸变的困难实例，建立压缩包大小的下界。
• 该方法结合了算法压缩包与信息论下界，实现了对 f(n,k,ε) 的紧致表征，误差在常数因子范围内。

实验结果

研究问题

• RQ1 对于所有 ε ≥ 1/n^{0.49}，在 R^k 中存储 n 个点之间的平方欧几里得距离所需的最小位数是多少？
• RQ2 是否存在一种高效算法，能够计算每点大小为 O(f(n,k,ε)/n) 的压缩包，使得在加法误差 ε 内实现线性时间距离恢复？
• RQ3 当 ε > 2/√n 时，维度降低的根本限制是什么，特别是关于内积和距离畸变方面？
• RQ4 能否通过随机化多项式时间算法在二分图 Johnson-Lindenstrauss 设置中实现标量积的加法误差保持？
• RQ5 对于哪些 ε 和 k 的取值，将 R^k 中的 n 个点嵌入 R^ℓ 且 ℓ < ck（c 为小的绝对常数）时，无法避免距离或内积畸变超过 ε？

主要发现

• 该论文在所有 n ≥ k ≥ 1 且 ε ≥ 1/n^{0.49} 的情况下，将 f(n,k,ε) 确定在常数因子范围内，建立了压缩包大小的紧致界。
• 一种高效算法可计算每点大小为 O(f(n,k,ε)/n) 的压缩包，从而实现在加法误差 ε 内线性时间恢复平方距离。
• 当 ε > 2/√n 时，论文表明在 ℓ < ck（c 为小的绝对常数）时，R^k 中某些 n 个点的配置无法避免内积或距离畸变超过 ε。
• 论文提供了一种针对 Johnson-Lindenstrauss 引理二分图变体的随机化多项式时间算法，实现维度降低至 O(log(2+ε²n)/ε²) 维，且加法误差为 ε。
• 研究结果表明，在加法误差范式下，维度降低存在根本限制：当 ε ≥ 1/n^{0.49} 时，压缩包大小被紧致表征，且无法实现无显著畸变的次线性维度降低。
• 结果表明，压缩包大小为 Θ(n · f(n,k,ε)/n) = Θ(f(n,k,ε))，确认了所提构造的最优性。