[论文解读] Accelerating gradient projection methods for $\ell_1$-constrained signal recovery by steplength selection rules

Ignace Loris, M. Bertero+3 more|arXiv (Cornell University)|Feb 25, 2009

Sparse and Compressive Sensing Techniques参考文献 26被引用 37

一句话总结

该论文通过引入自适应步长选择规则，提出了一种加速 $β$-约束 $¹$-范数信号恢复中梯度投影方法的策略。通过根据局部曲率和下降条件动态调整步长，该方法在收敛速度上优于标准方法，具有理论保证，并在迭代次数和目标函数值减少方面表现出实际改进。

ABSTRACT

We propose a new gradient projection algorithm that compares favorably with the fastest algorithms available to date for $\ell_1$-constrained sparse recovery from noisy data, both in the compressed sensing and inverse problem frameworks. The method exploits a line-search along the feasible direction and an adaptive steplength selection based on recent strategies for the alternation of the well-known Barzilai-Borwein rules. The convergence of the proposed approach is discussed and a computational study on both well-conditioned and ill-conditioned problems is carried out for performance evaluations in comparison with five other algorithms proposed in the literature.

研究动机与目标

• 解决标准梯度投影方法在 $¹$-范数正则化信号恢复问题中收敛缓慢的问题。
• 设计能够自适应调整步长以加速收敛的步长选择规则。
• 在提升稀疏信号重建实际性能的同时，确保全局收敛性。
• 为所提出的自适应步长策略提供理论依据。

提出的方法

• 该方法从 $\mathbf{x}^{(0)} \in \Omega$ 处初始化，并采用参数 $\beta, \theta \in (0,1)$，$\alpha_{\text{min}} < \alpha_{\text{max}}$，以及最大线搜索次数 $M$。
• 在每次迭代 $k$ 中，算法执行回溯线搜索以确定满足充分下降条件和曲率条件的最优步长 $\alpha_k$。
• 步长规则结合了充分下降与曲率条件，确保向最小值方向推进的同时保持稳定性。
• 该方法使用投影梯度步骤，并将解投影到可行集 $\Omega$ 上，以维持约束条件。
• 自适应步长通过结合回溯法与 Armijo 型条件迭代更新，以平衡收敛速度与精度。
• 当基于梯度范数或最大迭代次数的停止准则被满足时，算法终止。

实验结果

研究问题

• RQ1 如何设计步长选择规则，以加速 $¹$-约束优化中梯度投影方法的收敛？
• RQ2 在自适应步长规则下，该方法的全局收敛性需满足何种条件？
• RQ3 与固定或常数步长方案相比，自适应步长策略在收敛速度上有何差异？
• RQ4 回溯线搜索对方法的鲁棒性与效率有何影响？

主要发现

• 所提出的自适应步长规则显著加速了收敛速度，相比使用固定步长的标准梯度投影方法。
• 在较弱假设下，该方法可实现全局收敛，且理论上保证迭代序列趋近最优解。
• 实验结果表明，目标函数值减少更快，且达到给定精度水平所需的迭代次数更少。
• 结合曲率条件的回溯线搜索可确保充分下降，并避免在目标函数平坦区域陷入停滞。