[论文解读] Random projections of random manifolds

Subhaneil Lahiri, Peiran Gao+1 more|arXiv (Cornell University)|Jul 14, 2016

Topological and Geometric Data Analysis参考文献 16被引用 5

一句话总结

本文提出了在高维空间中嵌入的光滑高斯随机流形的几何结构保持下，随机投影数量的解析可处理、高概率界。通过以统计上可处理的方式建模流形的复杂度（通过体积和曲率），作者推导出的界显著优于以往工作——改进了数量级，并通过数值模拟验证，显示失败概率随环境维数呈指数衰减。

ABSTRACT

Interesting data often concentrate on low dimensional smooth manifolds inside a high dimensional ambient space. Random projections are a simple, powerful tool for dimensionality reduction of such data. Previous works have studied bounds on how many projections are needed to accurately preserve the geometry of these manifolds, given their intrinsic dimensionality, volume and curvature. However, such works employ definitions of volume and curvature that are inherently difficult to compute. Therefore such theory cannot be easily tested against numerical simulations to understand the tightness of the proven bounds. We instead study typical distortions arising in random projections of an ensemble of smooth Gaussian random manifolds. We find explicitly computable, approximate theoretical bounds on the number of projections required to accurately preserve the geometry of these manifolds. Our bounds, while approximate, can only be violated with a probability that is exponentially small in the ambient dimension, and therefore they hold with high probability in cases of practical interest. Moreover, unlike previous work, we test our theoretical bounds against numerical experiments on the actual geometric distortions that typically occur for random projections of random smooth manifolds. We find our bounds are tighter than previous results by several orders of magnitude.

研究动机与目标

• 为解决随机投影在流形几何保持方面的理论界与实际可计算性之间的差距，特别是针对复杂曲率与体积度量的问题。
• 推导出在光滑随机流形中保持几何结构所需随机投影数量的解析可处理、高概率界。
• 通过在高斯随机流形上进行随机投影的数值模拟，将理论预测与实验结果对比，实现对界紧致性的经验验证。
• 通过将典型失真分解为长弦与短弦两部分，量化随机投影中的典型失真，将其与几何特性（如胞元直径、曲率及切平面与投影子空间的对齐）关联。
• 为数据科学与神经科学中的降维提供实用框架，提供既可计算又经经验验证的界。

提出的方法

• 作者将光滑随机流形建模为 ℝ^N 中的高斯随机子流形，利用统计系综定义其典型几何行为。
• 将随机投影中的失真分解为长弦（远距离点之间）与短弦（邻近点之间），分别使用几何概率与主角方法推导其界。
• 对于长弦，利用胞元直径、胞元间分离度及中心弦投影，通过集中不等式推导界。
• 对于短弦，通过胞元曲率及切平面与投影子空间的对齐性进行分析，使用 γ-近似简化主角分析。
• 通过组合长弦与短弦的失真界，得到整体界，最终失败概率界以环境维数 N、内在维数 K、体积的对数 ln 𝒱、失真度 ε 及置信度 δ 表示。
• 通过在随机流形上模拟随机投影，将理论预测的 M*（最小投影数）与 δ = 0.05 时的经验失败率进行比较，验证所得界。

实验结果

研究问题

• RQ1 如何在不依赖难以处理的几何度量（如条件数或测地覆盖正则性）的前提下，推导出光滑随机流形几何保持所需随机投影数的解析可计算界？
• RQ2 光滑随机流形的随机投影中，典型失真分布为何？其随环境维数、内在维数及流形体积如何变化？
• RQ3 当与数值模拟对比时，所推导的界在紧致性上相较于现有理论结果（如 Baraniuk & Wakin、Verma）表现如何？
• RQ4 在何种条件下，所提界优于以往工作？在 N 或 K 的不同缩放下，何时其他界可能因不同缩放特性而占优？
• RQ5 几何失真失败概率能否在环境维数上实现指数衰减？在实际场景中，这种衰减是否以高概率成立？

主要发现

• 公式 (22) 所提出的界显著优于以往理论界——在相同失真与置信水平下，所需投影数的改进达多个数量级。
• 几何失真失败概率在环境维数 N 上呈指数级小，确保在实际场景中流形几何结构以高概率被保持。
• 推导的界表明，失真主要来源于短弦，其受局部曲率及切平面与投影子空间对齐性支配。
• 通过数值模拟实现经验验证：当 N = 1000 时，预测的 M* 与实现 ε < 0.1 且 δ = 0.05 所需的最小 M 非常接近，证实了理论预测。
• 在大多数参数范围内，该界优于 Baraniuk & Wakin (2009) 与 Verma (2011) 的结果，Verma 的界变得更紧的交叉点仅出现在 N ~ 10^36，远超实际应用范围。
• 新界（公式 73）中缺失了 ln N 项的系数，使其在大 N 时更具优势；尽管 Verma 的界因 ln N 项系数为零，在极端大 N 时可能占优。