[论文解读] Counting faces of randomly-projected polytopes when the projection radically lowers dimension

David L. Donoho, Jared Tanner|ArXiv.org|Jul 15, 2006

Sparse and Compressive Sensing Techniques参考文献 23被引用 8

一句话总结

本文开发了渐近方法，用于计算高维单纯形在高维空间中随机投影后形成的面数，表明在随机投影下，面的数量（顶点、边等）随维度和样本大小急剧变化。关键贡献在于确定了随机投影在何种条件下可保持单纯形的面结构，从而实现高维数据中稀疏信号的有效恢复与纠错。

ABSTRACT

This paper develops asymptotic methods to count faces of random high-dimensional polytopes. Beyond its intrinsic interest, our conclusions have surprising implications - in statistics, probability, information theory, and signal processing - with potential impacts in practical subjects like medical imaging and digital communications. Three such implications concern: convex hulls of Gaussian point clouds, signal recovery from random projections, and how many gross errors can be efficiently corrected from Gaussian error correcting codes.

研究动机与目标

• 理解高维空间中随机点云形成的凸包的组合结构。
• 确定维度大幅降低时，随机投影对高维单纯形的面数（顶点、边等）的影响。
• 建立随机投影下单纯形面结构得以保持的精确渐近阈值。
• 将这些结果应用于高维数据中的信号恢复与纠错，特别是在压缩感知与编码理论中的应用。
• 推导出可通过L1最小化高效恢复稀疏向量的精确条件。

提出的方法

• 使用渐近概率论与大偏差理论，分析高维空间中独立同分布高斯点投影形成的随机单纯形的面数。
• 应用高维几何与随机矩阵理论的工具，研究维度降低下凸包的行为。
• 通过球面的网近似上的变分原理，推导出面数的临界阈值函数。
• 采用拉格朗日松弛与鞍点分析，估计网的对数大小及面存在的概率。
• 通过基于网的熵与面数熵的对偶形式，将面计数问题转化为变分问题。
• 利用对数项的渐近展开与界限，推导出高维面存在的精确阈值。

实验结果

研究问题

• RQ1 当维度与样本量均增长时，高维空间中随机点云凸包的面数（顶点、边等）的渐近数量是多少？
• RQ2 当目标维度远小于原始维度时，随机线性投影如何影响高维单纯形的面结构？
• RQ3 在何种条件下，可通过L1最小化从少量随机线性测量中精确恢复k-稀疏向量？
• RQ4 为以高概率确保高维单纯形的面结构在随机投影下保持不变，所需的最小随机投影数量是多少？
• RQ5 当测量矩阵为随机且测量数低于纳什阈值时，线性编码方案中可纠正多少个粗大错误？

主要发现

• 在高维下，几乎所有情况下，所有k+1个点构成k-面的最大k满足k* > d/(2e log(n/d)) (1−ε)，表明所有点均为顶点且所有边均存在。
• 在信号恢复中，当n ≥ 2k log(N/n)(1+o_p(1))时，可通过L1最小化以高概率精确恢复k-稀疏向量，所需测量数远少于N。
• 随机投影下面结构保持的阈值是尖锐的：当测量数n超过2k log(N/n)时，单纯形保持其完整的面复杂度。
• 在临界阈值以下，投影单纯形的面数按exp(Θ(n log(N/n)))增长，表明面数行为存在相变。
• 该方法表明，当测量数超过稀疏度水平的对数阈值时，随机投影可保持高维单纯形的面结构。
• 分析表明，当测量率超过推导出的阈值时，随机投影下面损失的概率呈指数衰减。