[论文解读] A Non-convex Approach for Sparse Recovery with Convergence Guarantee

Laming Chen, Yuantao Gu|arXiv (Cornell University)|Jan 1, 2013

Sparse and Compressive Sensing Techniques参考文献 55被引用 1

一句话总结

本文提出了一种非凸优化框架用于稀疏恢复，通过利用弱凸性来表征惩罚函数，提供了收敛性保证。证明了若非凸性低于某一阈值，投影次梯度方法可从初始解收敛，恢复误差与噪声和步长呈线性关系。

ABSTRACT

In the area of sparse recovery, numerous researches hint that non-convex penalties might induce better sparsity than convex ones, but up until now the non-convex algorithms lack convergence guarantee from the initial solution to the global optimum. This paper aims to provide theoretical guarantee for sparse recovery via non-convex optimization. The concept of weak convexity is incorporated into a class of sparsity-inducing penalties to characterize their non-convexity. It is shown that in a neighborhood of the sparse signal (with radius in inverse proportion to the non-convexity), any local optimum can be regarded as a stable solution. It is further proved that if the non-convexity of the penalty function is below a threshold, the initial solution also belongs to this neighborhood. In addition, The idea of projected (sub)gradient method is generalized to solve this non-convex optimization problem. A uniform approximate projection can also be applied in the projection step to make the algorithm computationally tractable for large scale problems. The theoretical convergence analysis of these methods is provided in the noisy scenario. The result reveals that if the non-convexity is below a threshold, these methods would converge from the initial solution, and the recovered solution is with recovery error linear in both the noise term and the step size. Numerical simulations are performed to test the performance of the proposed approach and verify the theoretical analysis.

研究动机与目标

• 解决非凸稀疏恢复算法中缺乏收敛性保证的问题。
• 需要理论分析以确保非凸惩罚函数（可能产生更好的稀疏性）不会导致不收敛。
• 建立局部最优解稳定且可从初始解实现全局收敛的条件。
• 利用统一近似投影，开发适用于大规模问题的计算可处理算法。
• 在噪声场景下提供理论恢复误差界，将误差与噪声水平和步长关联。

提出的方法

• 引入弱凸性作为量化稀疏性诱导惩罚函数非凸程度的度量。
• 定义一个围绕真实稀疏信号的邻域，其中局部最优解是稳定的，其半径与非凸性成反比。
• 应用广义投影（次）梯度方法求解非凸优化问题。
• 在更新步骤中使用统一近似投影，以在大规模问题中保持计算效率。
• 在噪声条件下推导理论收敛性，证明当非凸性低于某一阈值时可实现收敛。
• 建立恢复误差界，其与噪声幅度和算法步长均呈线性关系。

实验结果

研究问题

• RQ1 在何种惩罚函数条件下，非凸稀疏恢复算法可从初始解收敛？
• RQ2 弱凸性如何影响稀疏恢复中局部最优解的稳定性和收敛性？
• RQ3 投影次梯度方法能否推广至非凸问题，同时保持收敛性和计算可处理性？
• RQ4 在所提框架中，非凸性水平、噪声与恢复误差之间存在何种关系？
• RQ5 在大规模设置下，使用统一近似投影如何影响收敛性和解的精度？

主要发现

• 若惩罚函数的非凸性低于某一阈值，则初始解位于一个收敛至稳定解的邻域内。
• 该邻域内的局部最优解是稳定的，且对应于有意义的稀疏恢复解。
• 当非凸性低于阈值时，投影次梯度方法可从初始解收敛。
• 在理论收敛条件下，恢复误差与噪声水平和算法步长均呈线性关系。
• 数值模拟验证了理论预测，表明在噪声环境中实现了稳定且精确的恢复。
• 使用统一近似投影在不牺牲收敛性保证的前提下，保持了大规模问题的计算可处理性。