[论文解读] Breaking through the Thresholds: an Analysis for Iterative Reweighted $\ell_1$ Minimization via the Grassmann Angle Framework

Weiyu Xu, Moein Khajehnejad+2 more|ArXiv.org|Apr 6, 2009

Sparse and Compressive Sensing Techniques参考文献 6被引用 12

一句话总结

该论文首次为迭代重加权ℓ₁最小化提供了严格的理论依据，证明其在某些信号类别下可超越标准ℓ₁最小化的稀疏恢复阈值。通过零空间几何的格拉斯曼角分析，表明利用早期迭代中的支持信息，可使加权ℓ₁最小化实现高于以往理论证明极限的稀疏信号恢复。

ABSTRACT

It is now well understood that $\ell_1$ minimization algorithm is able to recover sparse signals from incomplete measurements [2], [1], [3] and sharp recoverable sparsity thresholds have also been obtained for the $\ell_1$ minimization algorithm. However, even though iterative reweighted $\ell_1$ minimization algorithms or related algorithms have been empirically observed to boost the recoverable sparsity thresholds for certain types of signals, no rigorous theoretical results have been established to prove this fact. In this paper, we try to provide a theoretical foundation for analyzing the iterative reweighted $\ell_1$ algorithms. In particular, we show that for a nontrivial class of signals, the iterative reweighted $\ell_1$ minimization can indeed deliver recoverable sparsity thresholds larger than that given in [1], [3]. Our results are based on a high-dimensional geometrical analysis (Grassmann angle analysis) of the null-space characterization for $\ell_1$ minimization and weighted $\ell_1$ minimization algorithms.

研究动机与目标

• 建立迭代重加权ℓ₁最小化的理论基础，该方法在实践中可提升稀疏恢复性能，但缺乏严格的理论支持。
• 分析在高维压缩感知中，如何利用早期迭代的支持集信息来提升恢复性能。
• 证明对于非平凡的信号类别，改进后的算法可实现高于未加权ℓ₁最小化所保证的可恢复稀疏度阈值。
• 刻画在何种条件下，基于迭代估计信息的加权ℓ₁最小化可成功恢复更高稀疏度的信号。

提出的方法

• 采用格拉斯曼角分析研究高维空间中ℓ₁和加权ℓ₁最小化的零空间几何结构。
• 使用文献[13]的框架，确定随机测量矩阵下完美恢复的概率。
• 在首次ℓ₁最小化后，识别|xi^t|最大的|K′|个条目，形成支持估计集合K′，将信号划分为高幅值和低幅值分量。
• 对K′中的条目分配权重W₁ = 1，对K′′中的条目分配权重W₂ > 1，实现针对特定区域的ℓ₁最小化，从而提升恢复保证。
• 应用文献[13]的理论结果，表明若δ > δ_c(γ₁, γ₂, P₁, P₂, W₂/W₁)，则恢复以高概率发生。
• 推导出两个信号分块中稀疏度因子P₁和P₂的边界，表明当a₁较大且Δ相对于a₁n较小时，P₁可接近1。

实验结果

研究问题

• RQ1 迭代重加权ℓ₁最小化能否在理论上超越标准ℓ₁最小化的稀疏恢复阈值？
• RQ2 如何利用早期迭代中的支持集信息来提升压缩感知中的恢复性能？
• RQ3 在何种信号结构和测量矩阵条件下，加权ℓ₁最小化可优于未加权ℓ₁最小化？
• RQ4 信号分块中稀疏度分布与成功恢复临界测量率δ_c之间的关系是什么？
• RQ5 格拉斯曼角分析能否严格量化非均匀信号模型下可恢复稀疏度的提升？

主要发现

• 对于非平凡的信号类别，改进后的迭代重加权ℓ₁算法可实现高于标准ℓ₁最小化所保证的可恢复稀疏度阈值。
• 集合K′（最大条目）中非零条目数量至少为(1−ε)ρ_F(δ)δn − 4C(κ+1)Δ / [(C−1)a₁]，为高幅值分块中的稀疏度因子P₁提供了下界。
• 当a₁较大且Δ/a₁n较小时，P₁趋近于1，表明信号在估计的支持集K′中高度集中。
• 剩余分块K′′中的稀疏度因子P₂受以下表达式限制：[k_total − (1−ε)ρ_F(δ)δn + 4C(κ+1)Δ / ((C−1)a₁)] / [n − (1−ε)ρ_F(δ)δn]，表明P₂可显著小于P₁。
• 数值结果表明，当δ = 0.555时，平均可恢复稀疏度因子P₁γ₁ + P₂γ₂超过弱界ρ_F(δ)δ，验证了严格改进。
• 当测量率δ超过临界阈值δ_c(γ₁, γ₂, P₁, P₂, W₂/W₁)时，该方法可以高概率保证恢复成功，该阈值取决于稀疏度分布和权重比。