[论文解读] Improving the Johnson-Lindenstrauss Lemma

Javier Rojo, Tuan Huy Nguyen|arXiv (Cornell University)|May 10, 2010

Computational Geometry and Mesh Generation参考文献 31被引用 3

一句话总结

本文通过直接分析距离分布而非使用矩生成函数，改进了Johnson-Lindenstrauss引理，推导出目标维度 $k$ 的更紧下界。与先前的界限相比，该方法将 $k$ 减少了13–30%；当在原始空间使用 $L_2$ 距离、在投影空间使用 $L_1$ 距离时，额外实现了36–40%的减少。

ABSTRACT

The Johnson-Lindenstrauss Lemma allows for the projection of $n$ points in $p-$dimensional Euclidean space onto a $k-$dimensional Euclidean space, with $k \ge \frac{24\ln \emph{n}}{3ε^2-2ε^3}$, so that the pairwise distances are preserved within a factor of $1\pmε$. Here, working directly with the distributions of the random distances rather than resorting to the moment generating function technique, an improvement on the lower bound for $k$ is obtained. The additional reduction in dimension when compared to bounds found in the literature, is at least $13\%$, and, in some cases, up to $30\%$ additional reduction is achieved. Using the moment generating function technique, we further provide a lower bound for $k$ using pairwise $L_2$ distances in the space of points to be projected and pairwise $L_1$ distances in the space of the projected points. Comparison with the results obtained in the literature shows that the bound presented here provides an additional $36-40\%$ reduction.

研究动机与目标

• 在保持成对 $L_2$ 距离在 $1\pm\epsilon$ 范围内的前提下，收紧随机投影中目标维度 $k$ 的下界。
• 通过分析投影距离的实际分布，避免依赖矩生成函数。
• 将分析扩展到原始空间使用 $L_2$ 距离、投影空间使用 $L_1$ 距离的情形。
• 提供计算高效的边界，优于现有文献中针对高维数据降维的成果。

提出的方法

• 通过直接的概率分析投影距离的分布，推导出新的 $k$ 下界，绕过矩生成函数技术。
• 应用集中不等式，以边界化投影向量 $L_1$ 范数的尾部概率。
• 使用Achlioptas分布（$q=1,2,3$）作为随机投影矩阵的元素，以保持计算效率。
• 通过引理A.2建立随机优势关系，表明投影后 $L_1$ 范数的矩生成函数被标准正态分布的矩生成函数所控制。
• 结合 $L_1$ 范数的右尾和左尾概率边界，推导出统一的集中不等式。
• 利用标准正态分布的尾部函数 $\Phi(s)$，推导出统一的尾部概率边界，从而实现对距离保持的更紧密控制。

实验结果

研究问题

• RQ1 能否通过避免使用矩生成函数近似来改进Johnson-Lindenstrauss引理？
• RQ2 在使用直接分布分析的前提下，为保持成对 $L_2$ 距离在 $1\pm\epsilon$ 范围内，$k$ 的最紧可能下界是什么？
• RQ3 当在原始空间使用 $L_2$ 距离、在投影空间使用 $L_1$ 距离时，可实现的额外维数减少量有多大？
• RQ4 Achlioptas分布是否可在实现更紧 $k$ 边界的同时保持计算效率？
• RQ5 与现有文献相比，在相同投影框架下，$k$ 的定量减少量是多少？

主要发现

• 本文通过直接分布分析，相较于标准边界 $k \geq \frac{24\ln n}{3\epsilon^2 - 2\epsilon^3}$，实现了13–30%的 $k$ 所需维度减少。
• 在原始空间使用 $L_2$ 距离、投影空间使用 $L_1$ 距离的情况下，该边界额外实现了36–40%的 $k$ 减少。
• 所推导的边界比以往结果更紧，因为它避免了矩生成函数方法中固有的高估问题。
• 使用 $q=1,2,3$ 的Achlioptas分布可在保持计算效率的同时，实现新的分析边界。
• 证明表明，投影后 $L_1$ 范数的矩生成函数在随机优势意义下被标准正态分布的矩生成函数所控制，从而支持更紧的集中边界。
• 最终的尾部概率边界以标准正态分布的CDF $\Phi(s)$ 表达，使得距离保持的控制更加精确且具有解析可处理性。