[论文解读] Deterministic Bounds for Restricted Isometry of Compressed Sensing Matrices

Shriram Sarvotham, Richard G. Baraniuk|arXiv (Cornell University)|Mar 16, 2011

Sparse and Compressive Sensing Techniques参考文献 26被引用 3

一句话总结

本文通过分析子矩阵奇异值的结构特性以及在Grassmannian空间上的几何打包/覆盖论证，建立了压缩感知矩阵受限等距性质（RIP）常数的确定性上下界。研究揭示了随机高斯矩阵与理论上最优矩阵之间存在显著的性能差距，表明通过结构化设计可实现更优的RIP比值。

ABSTRACT

Compressed Sensing (CS) is an emerging field that enables reconstruction of a sparse signal $x \in {\mathbb R} ^n$ that has only $k \ll n$ non-zero coefficients from a small number $m \ll n$ of linear projections. The projections are obtained by multiplying $x$ by a matrix $Φ\in {\mathbb R}^{m imes n}$ --- called a CS matrix --- where $k < m \ll n$. In this work, we ask the following question: given the triplet $\{k, m, n \}$ that defines the CS problem size, what are the deterministic limits on the performance of the best CS matrix in ${\mathbb R}^{m imes n}$? We select Restricted Isometry as the performance metric. We derive two deterministic converse bounds and one deterministic achievable bound on the Restricted Isometry for matrices in ${\mathbb R}^{m imes n}$ in terms of $n$, $m$ and $k$. The first converse bound (structural bound) is derived by exploiting the intricate relationships between the singular values of sub-matrices and the complete matrix. The second converse bound (packing bound) and the achievable bound (covering bound) are derived by recognizing the equivalence of CS matrices to codes on Grassmannian spaces. Simulations reveal that random Gaussian $Φ$ provide far from optimal performance. The derivation of the three bounds offers several new geometric insights that relate optimal CS matrices to equi-angular tight frames, the Welch bound, codes on Grassmannian spaces, and the Generalized Pythagorean Theorem (GPT).

研究动机与目标

• 确定在给定k-稀疏信号时，任意m×n压缩感知矩阵的受限等距性质（RIP）的根本确定性极限。
• 确定在给定n、m和k时，所有R^{m×n}矩阵中RIP常数δk的理论性能上限。
• 推导出揭示随机高斯矩阵与最优确定性构造之间差距的界。
• 建立最优CS矩阵、等角紧框架、Grassmannian码以及广义勾股定理之间的几何联系。

提出的方法

• 通过分析子矩阵奇异值与完整矩阵Φ之间的关系，推导出结构型反向界。
• 通过将CS矩阵建模为Grassmannian空间上的码，利用高维子空间中的球体打包，推导出打包反向界。
• 利用Grassmannian空间上的覆盖论证，建立可实现的覆盖界，代表最佳可能的RIP性能。
• 通过分析推导出的特征方程的多项式根，估计Φ的随机m×k子矩阵中奇异值的分布。
• 将理论界与高斯矩阵及Conway、Hardin和Sloane的Grassmannian打包数据中已知最优矩阵的实证性能进行比较。
• 通过结构界将Welch界扩展至更高阶k > 2，证明k=2时两者等价。

实验结果

研究问题

• RQ1 对于任意m×n压缩感知矩阵，受限等距常数δk的最紧可能的确定性界是什么？
• RQ2 在RIP性能方面，随机高斯矩阵与最优CS矩阵的理论极限相比如何？
• RQ3 哪些几何与代数结构——如等角紧框架或Grassmannian码——支撑着最优CS矩阵？
• RQ4 能否利用结构界的参数预测Φ的随机m×k子矩阵的奇异值分布？
• RQ5 对于k > 2，结构界与Welch界之间存在何种关系？

主要发现

• 随机高斯矩阵与理论确定性界之间存在显著性能差距，表明存在更优的CS矩阵。
• 对于小n，结构界更紧；对于大n，打包界成为更紧的反向界。
• 当k=2时，结构界在数学上等价于Welch界，且该方法将该界扩展至k > 2。
• 推导出的多项式方程的根可对Φ的随机m×k子矩阵的平方奇异值提供准确估计。
• 仿真结果证实，来自结构界的r_i²值与子矩阵中奇异值的经验分布高度吻合。
• 覆盖界为RIP性能提供了确定性可实现极限，表明最优矩阵可实现显著优于高斯矩阵的δk。