[论文解读] Block-length dependent thresholds in block-sparse compressed sensing

Mihailo Stojnic|ArXiv.org|Jul 21, 2009

Sparse and Compressive Sensing Techniques参考文献 90被引用 46

一句话总结

本文通过 ℓ2/ℓ1-优化方法，在块稀疏压缩感知中建立了与块长相关的紧致下界，明确了可恢复的块稀疏度。通过将测量矩阵的零空间建模为格拉斯曼流形上的均匀分布，推导出强恢复、部分恢复和弱恢复的理论阈值，这些阈值显式依赖于块长，数值模拟结果与理论预测高度一致。

ABSTRACT

One of the most basic problems in compressed sensing is solving an under-determined system of linear equations. Although this problem seems rather hard certain $\ell_1$-optimization algorithm appears to be very successful in solving it. The recent work of \cite{CRT,DonohoPol} rigorously proved (in a large dimensional and statistical context) that if the number of equations (measurements in the compressed sensing terminology) in the system is proportional to the length of the unknown vector then there is a sparsity (number of non-zero elements of the unknown vector) also proportional to the length of the unknown vector such that $\ell_1$-optimization algorithm succeeds in solving the system. In more recent papers \cite{StojnicICASSP09block,StojnicJSTSP09} we considered the setup of the so-called extbf{block}-sparse unknown vectors. In a large dimensional and statistical context, we determined sharp lower bounds on the values of allowable sparsity for any given number (proportional to the length of the unknown vector) of equations such that an $\ell_2/\ell_1$-optimization algorithm succeeds in solving the system. The results established in \cite{StojnicICASSP09block,StojnicJSTSP09} assumed a fairly large block-length of the block-sparse vectors. In this paper we consider the block-length to be a parameter of the system. Consequently, we then establish sharp lower bounds on the values of the allowable block-sparsity as functions of the block-length.

研究动机与目标

• 分析在线性范围内 ℓ2/ℓ1-优化在恢复块稀疏信号方面的性能。
• 推导可恢复块稀疏度的紧致下界，作为块长的函数。
• 建立显式依赖于块长的理论阈值（强恢复、部分恢复、弱恢复）。
• 通过使用合成测量矩阵的数值实验验证理论预测。
• 通过将块长视为系统参数而非假设其较大，推广先前的研究结果。

提出的方法

• 假设测量矩阵 A 的零空间在格拉斯曼流形上均匀分布。
• 利用高维概率和测度集中工具，特别是 [20, 67, 47] 中关于利普希茨函数和正态尾部界限的结果。
• 推导块稀疏恢复的弱、部分和强阈值的理论下界。
• 应用概率框架分析 ℓ2/ℓ1-优化在恢复块稀疏向量时的成功性。
• 通过 i.i.d. 高斯矩阵进行数值实验，模拟恢复性能。
• 将模拟恢复率与理论阈值预测进行比较，显示出高度一致性。

实验结果

研究问题

• RQ1 当块长为有限参数时，使用 ℓ2/ℓ1-优化可恢复的最小块稀疏度是多少？
• RQ2 在线性范围内，块稀疏信号的理论恢复阈值如何依赖于块长？
• RQ3 能否推导出显式考虑块长的弱阈值的紧致下界？
• RQ4 理论阈值在模拟中对实际恢复性能的预测能力如何？
• RQ5 ℓ2/ℓ1-优化的性能在不同块长和测量比下是否保持一致？

主要发现

• 本文在线性范围内，为 ℓ2/ℓ1-优化在块稀疏压缩感知中的可恢复块稀疏度，推导出与块长相关的紧致下界。
• 由定理 5 推导出的理论弱阈值与模拟恢复性能表现出高度一致。
• 在 N=100 且 d=15 的数值实验中，理论阈值与经验成功边界高度吻合。
• 该结果通过将块长视为变量而非假设其较大，推广了先前工作。
• 该分析框架可扩展至近似块稀疏信号、噪声测量以及非凸 ℓ2/ℓq-优化（0 < q < 1）情形。
• 即使测量矩阵的零空间不局限于格拉斯曼分布，理论保证依然有效，尽管这需要进一步推广。