[论文解读] Rigorous Restricted Isometry Property of Low-Dimensional Subspaces

Gen Li, Qinghua Liu+1 more|arXiv (Cornell University)|Jan 30, 2018

Matrix Theory and Algorithms参考文献 20被引用 5

一句话总结

本文严格证明了在高维空间中，高斯随机投影以高概率保持低维子空间之间的Frobenius范数距离。当投影维数 $ n $ 相对于子空间维数足够大时，投影后的子空间距离几乎不变，将Johnson-Lindenstrauss引理和限制等距性质（Restricted Isometry Property）推广至子空间而非仅向量。

ABSTRACT

Dimensionality reduction is in demand to reduce the complexity of solving large-scale problems with data lying in latent low-dimensional structures in machine learning and computer version. Motivated by such need, in this work we study the Restricted Isometry Property (RIP) of Gaussian random projections for low-dimensional subspaces in $\mathbb{R}^N$, and rigorously prove that the projection Frobenius norm distance between any two subspaces spanned by the projected data in $\mathbb{R}^n$ ($n

研究动机与目标

• 建立理论保证，证明在高维数据中，随机投影能保持低维子空间之间的距离。
• 将限制等距性质（RIP）从稀疏向量扩展至子空间，类似于Johnson-Lindenstrauss引理的推广。
• 将子空间距离保持的概率界从 $1 - \mathcal{O}(1/n)$ 提升至 $1 - e^{-\mathcal{O}(n)}$，实现最优尾部概率界。
• 通过严格证明降维过程不损失子空间相似性，为压缩子空间聚类（Compressed Subspace Clustering, CSC）提供理论基础。

提出的方法

• 使用投影Frobenius范数度量子空间之间的距离，通过子空间的正交基矩阵定义。
• 应用具有独立同分布 $\mathcal{N}(0, 1/n)$ 元素的高斯随机投影矩阵，将子空间从 $\mathbb{R}^N$ 投影至 $\mathbb{R}^n$。
• 利用矩阵集中不等式和奇异值分析，界定向投影后子空间距离的偏离程度。
• 引入并分析广义投影F-范数距离，允许处理维数不同的子空间。
• 采用正交化与投影分解技术，解耦依赖关系，并界定向量残差之间的内积。
• 应用随机矩阵理论中的高概率尾部界，推导出失败概率随 $n$ 指数衰减的结果。

实验结果

研究问题

• RQ1 能否使用高斯矩阵在随机投影下保持两个低维子空间之间的距离？
• RQ2 在随机投影下，子空间距离保持的最优概率界是什么？
• RQ3 投影后的子空间距离与原始距离之间的偏离界如何关联？
• RQ4 能否以类似于Johnson-Lindenstrauss引理的方式，将限制等距性质从稀疏向量推广至子空间？
• RQ5 为实现高概率的距离保持，所需最小投影维数 $n$ 相对于子空间维数 $d$ 的关系是什么？

主要发现

• 任意两个子空间之间的Frobenius范数距离，以至少 $1 - e^{-\mathcal{O}(n)}$ 的概率，保持在相对误差 $\varepsilon$ 以内。
• 概率界从先前工作的 $1 - \mathcal{O}(1/n)$ 提升至 $1 - e^{-\mathcal{O}(n)}$，在标准高斯随机矩阵理论下为最优。
• 当 $n \gg d_2$ 时（其中 $d_2$ 为较大子空间的维数），投影后的距离与原始距离保持接近。
• 分析表明，在适当的 $n$ 和 $\varepsilon$ 条件下，投影距离与原始距离之比以高概率被界于 $1 + \varepsilon$ 之内。
• 证明表明，正交化后残差向量之间的内积随 $n$ 指数衰减，从而确保稳定性。
• 该结果支持在压缩子空间聚类中使用随机投影，实现大规模数据的可扩展处理，并具备理论保证。