[论文解读] Gradient Support Projection Algorithm for Affine Feasibility Problem with Sparsity and Nonnegativity

Lili Pan, Naihua Xiu+1 more|arXiv (Cornell University)|Jun 27, 2014

Sparse and Compressive Sensing Techniques参考文献 11被引用 8

一句话总结

本文提出了一种新型梯度支持投影算法（GSPA），用于求解具有稀疏性和非负性约束的仿射可行性问题。通过利用切锥与法锥分析及一种Armijo类型线搜索，GSPA在s-正则性条件下实现了完全收敛，并在无噪声和有噪声恢复中表现出更优的速度与鲁棒性，优于NIHT、CoSaMP和SP。

ABSTRACT

Let $A$ be a real $M imes N$ measurement matrix and $b\in \mathbb{R}^M$ be an observations vector. The affine feasibility problem with sparsity and nonnegativity ($AFP_{SN}$ for short) is to find a sparse and nonnegative vector $x\in \mathbb{R}^N$ with $Ax=b$ if such $x$ exists. In this paper, we focus on establishment of optimization approach to solving the $AFP_{SN}$. By discussing tangent cone and normal cone of sparse constraint, we give the first necessary optimality conditions, $α$-Stability, T-Stability and N-Stability, and the second necessary and sufficient optimality conditions for the related minimization problems with the $AFP_{SN}$. By adopting Armijo-type stepsize rule, we present a framework of gradient support projection algorithm for the $AFP_{SN}$ and prove its full convergence when matrix $A$ is $s$-regular. By doing some numerical experiments, we show the excellent performance of the new algorithm for the $AFP_{SN}$ without and with noise.

研究动机与目标

• 解决在信号处理、机器学习和图像重建中出现的具有稀疏性与非负性约束的仿射可行性问题。
• 开发一种新的优化框架，结合梯度投影与支持识别，以应对该问题的非凸性与NP难性质。
• 为具有非负性约束的稀疏优化建立严格的的一阶与二阶最优性条件，包括α-稳定性、T-稳定性与N-稳定性。
• 在测量矩阵A满足s-正则性条件下，证明所提算法的全局收敛性。
• 通过大量含噪与无噪条件下的数值实验，展示该算法的鲁棒性与高效性。

提出的方法

• 将稀疏非负可行性问题表述为在约束 $ \|x\|_0 \leq s $ 与 $ x \geq 0 $ 下最小化最小二乘残差 $ \frac{1}{2}\|Ax - b\|^2 $。
• 利用Bouligand与Clarke概念定义并分析稀疏集的切锥与法锥，以推导最优性条件。
• 提出三种稳定性概念——α-稳定性、T-稳定性与N-稳定性——用于稀疏约束优化，其中α-稳定性最为严格。
• 提出梯度支持投影算法（GSPA），通过支持投影在梯度下降与硬阈值化之间交替迭代。
• 采用一种Armijo类型线搜索规则，自适应选择步长，确保充分下降与收敛性。
• 在每次迭代中集成对非负卦限的投影与支持识别，以保持可行性与稀疏性。

实验结果

研究问题

• RQ1 在给定约束下，稀疏非负可行性问题的必要与充分最优性条件是什么？
• RQ2 在稀疏优化背景下，α-稳定性、T-稳定性与N-稳定性等稳定性概念应如何定义并相互关联？
• RQ3 结合支持投影与自适应线搜索的基于梯度的方法能否实现该NP难问题的全局收敛？
• RQ4 在不同噪声水平与稀疏度下，所提出的GSPA与现有方法（如NIHT、CoSaMP与SP）在性能与鲁棒性方面有何比较？
• RQ5 在高维设置下，GSPA在有噪与无噪条件下的计算效率与收敛行为如何？

主要发现

• 所提出的GSPA算法在测量矩阵A满足s-正则性时可实现完全收敛，为该方法提供了理论保证。
• 在无噪声恢复中，GSPA约在20次迭代内达到零残差误差 $ \|Ax - b\| $，收敛速度优于NIHT、CoSaMP与SP。
• 在噪声条件下且 $ s = 1\%N $ 时，GSPA保持较低误差水平（例如在 $ N=10000 $ 时 $ \|Ax - b\| \approx 0.4889 $），并实现最快CPU时间（在 $ N=10000 $ 时为1.4000秒），显著快于SP（1.1757秒）与CoSaMP（3.3096秒）。
• GSPA在不同稀疏度与问题规模下表现出鲁棒性，且随着N增大性能下降极小。
• 尽管CoSaMP与SP在无噪声情况下可实现精确恢复，但在噪声条件下性能显著下降，且计算速度远慢于GSPA。
• 无论样本数M与N如何变化，该算法性能均稳定一致，且对稀疏度s不敏感，适用于高维问题。