[论文解读] PARNES: A rapidly convergent algorithm for accurate recovery of sparse and approximately sparse signals

Ming Gu, Lek‐Heng Lim+1 more|arXiv (Cornell University)|Nov 3, 2009

Sparse and Compressive Sensing Techniques参考文献 14被引用 5

一句话总结

本文提出PARNES，一种新颖的快速且精确恢复稀疏及近似稀疏信号的算法，通过在Nesterov加速近端梯度法中引入动态近端中心更新，实现改进。该方法在受限等距性性质和稀疏性假设下实现局部线性收敛，当与Pareto根查找结合时，在基追踪去噪问题中达到或超越当前最先进性能。

ABSTRACT

In this article, we propose an algorithm, NESTA-LASSO, for the LASSO problem, i.e., an underdetermined linear least-squares problem with a 1-norm constraint on the solution. We prove under the assumption of the restricted isometry property (RIP) and a sparsity condition on the solution, that NESTA-LASSO is guaranteed to be almost always locally linearly convergent. As in the case of the algorithm NESTA proposed by Becker, Bobin, and Candes, we rely on Nesterov's accelerated proximal gradient method, which takes O(e^{-1/2}) iterations to come within e > 0 of the optimal value. We introduce a modification to Nesterov's method that regularly updates the prox-center in a provably optimal manner, and the aforementioned linear convergence is in part due to this modification. In the second part of this article, we attempt to solve the basis pursuit denoising BPDN problem (i.e., approximating the minimum 1-norm solution to an underdetermined least squares problem) by using NESTA-LASSO in conjunction with the Pareto root-finding method employed by van den Berg and Friedlander in their SPGL1 solver. The resulting algorithm is called PARNES. We provide numerical evidence to show that it is comparable to currently available solvers.

研究动机与目标

• 解决从欠定线性系统中高效且精确恢复稀疏及近似稀疏信号的挑战。
• 通过提升收敛速度与精度，改进现有求解器如NESTA和SPGL1在稀疏恢复中的表现。
• 为标准假设下的Lasso问题开发一个可证明收敛的算法，实现局部线性收敛。
• 将改进的Lasso求解器集成到Pareto根查找框架中，以有效求解基追踪去噪（BPDN）问题。

提出的方法

• 提出nesta-lasso，一种改进的Nesterov加速近端梯度法，每K次迭代动态更新近端中心，而非固定不变。
• 证明在2s阶受限等距性（RIP）和s稀疏解条件下，nesta-lasso几乎总是实现局部线性收敛。
• 推导出近端中心更新的最优K值，以确保收敛速度与稳定性。
• 将nesta-lasso集成到SPGL1中使用的Pareto根查找方法中，构建用于求解BPDN问题的PARNES算法。
• 在算法中使用固定的Lipschitz常数L和容差η，避免自适应线搜索以提升简洁性与鲁棒性。
• 利用对偶性与凸松弛方法求解等价于带噪声约束下稀疏恢复的l1-最小化问题。

实验结果

研究问题

• RQ1 在Nesterov方法中引入动态近端中心更新，是否能显著提升稀疏信号恢复中的收敛速度与精度？
• RQ2 在何种条件下，改进的Nesterov方法（nasta-lasso）对稀疏解实现局部线性收敛？
• RQ3 PARNES在恢复稀疏及近似稀疏信号方面，与当前最先进求解器如SPGL1、FPC和GPSR相比表现如何？
• RQ4 将加速近端梯度法与Pareto根查找结合，能否产生一个鲁棒且高效的BPDN求解器？
• RQ5 近端中心更新的最优频率（K）为何值时，可在收敛速率与稳定性之间实现最佳平衡？

主要发现

• PARNES在多种信噪比水平下均表现出与当前最先进求解器（如SPGL1和FPC-AS）相当的性能，且迭代次数始终较低。
• 对于100 dB信噪比信号，PARNES平均仅需562次迭代，优于NESTA（15,227次）和FISTA（12,462次）。
• 在近似稀疏信号与方差为1的高斯噪声实验中，PARNES平均仅需1,038次迭代，优于SPGL1（1,115次）和FPC-AS（159次）。
• 该算法在多次运行中表现出强鲁棒性，迭代次数方差低，且在不同噪声水平下保持一致的性能表现。
• nesta-lasso中的动态近端中心更新机制相比固定中心变体实现了可证明的更快收敛，尤其在RIP条件下优势显著。
• 即使采用固定L和η，PARNES仍表现出优异性能，表明自适应线搜索并非实现高精度与高速度的必要条件。