[论文解读] Linear Convergence of Stochastic Iterative Greedy Algorithms with Sparse Constraints

Nam H. Nguyen, Deanna Needell+1 more|arXiv (Cornell University)|Jul 1, 2014

Sparse and Compressive Sensing Techniques参考文献 47被引用 19

一句话总结

本文提出了两种用于带稀疏约束的非凸优化的随机迭代贪心算法，利用随机梯度和投影技术，实现线性收敛至容差范围内的解。该方法在近似误差下具有理论保证的鲁棒性，并在压缩感知、低秩矩阵恢复和协方差估计中优于确定性方法。

ABSTRACT

Motivated by recent work on stochastic gradient descent methods, we develop two stochastic variants of greedy algorithms for possibly non-convex optimization problems with sparsity constraints. We prove linear convergence in expectation to the solution within a specified tolerance. This generalized framework applies to problems such as sparse signal recovery in compressed sensing, low-rank matrix recovery, and covariance matrix estimation, giving methods with provable convergence guarantees that often outperform their deterministic counterparts. We also analyze the settings where gradients and projections can only be computed approximately, and prove the methods are robust to these approximations. We include many numerical experiments which align with the theoretical analysis and demonstrate these improvements in several different settings.

研究动机与目标

• 通过利用稀疏性和低秩结构等内在低维特性，解决观测数据有限条件下的高维数据推断挑战。
• 构建一个统一的框架，用于超越标准 $β$-范数稀疏性的稀疏优化，允许使用包括组稀疏和低秩矩阵在内的通用原子集 $\mathcal{D}$。
• 为非凸目标函数下带稀疏约束的迭代贪心算法的随机变体提供可证明的线性收敛保证。
• 分析对近似梯度和投影的鲁棒性，确保在实际实现中的稳定性。
• 通过在多个稀疏恢复场景中的数值实验，展示其性能优于确定性方法。

提出的方法

• 提出一种迭代贪心算法的随机变体，其中在每一步中以概率 $p(i)$ 随机采样函数块 $f_i(w)$，从而降低每轮迭代的计算成本。
• 使用随机梯度近似 $\frac{1}{Mp(i)}\nabla f_i(w^t)$ 更新解，并通过归一化确保全梯度的无偏期望。
• 引入广义稀疏性概念 $\|w\|_{0,\mathcal{D}}$，定义为表示 $w$ 所需的 $\mathcal{D}$ 中原子的最小数量，从而支持低秩和组稀疏模型的应用。
• 利用目标函数上的限制强凸性（RSC）条件建立收敛性，即使 $F(w)$ 为非凸函数亦成立。
• 通过投影和阈值化步骤保持稀疏性，确保迭代点始终位于 $k$-稀疏约束集合内。
• 通过梯度噪声和近似误差的界分析误差传播，证明在有界扰动下仍能保持收敛。

实验结果

研究问题

• RQ1 随机化的迭代贪心算法能否在具有通用原子稀疏约束的非凸稀疏优化问题中实现线性收敛？
• RQ2 在收敛速度和精度方面，这些随机算法相较于其确定性版本表现如何？
• RQ3 在实际应用中，这些算法对近似梯度和投影计算的鲁棒性如何？
• RQ4 当目标函数为非凸且稀疏性由通用原子集 $\mathcal{D}$ 定义时，可建立哪些理论收敛保证？
• RQ5 该框架能否在压缩感知、低秩矩阵恢复和稀疏协方差估计等实际问题中有效应用，并保证收敛性？

主要发现

• 所提出的随机贪心算法即使在非凸目标函数下，也能在期望意义下实现线性收敛至用户定义容差范围内的解。
• 在压缩感知、低秩矩阵恢复和稀疏协方差估计的数值实验中，该方法优于确定性方法。
• 算法对近似梯度和投影具有鲁棒性，在有界近似误差下仍能保持收敛。
• 理论分析表明，收敛速率是线性的，且在 RSC 条件下，每轮迭代的误差呈几何级数减少。
• 通过以原子集 $\mathcal{D}$ 定义稀疏性，该框架可推广至多种稀疏模型，包括组稀疏和低秩矩阵。
• 收敛界依赖于 RSC 参数 $\rho^{-}_{4k}$ 和 $\rho^{+}_{4k}$ 以及梯度噪声水平，从而提供了对算法稳定性的定量理解。