[论文解读] An Iteratively Reweighted Least Squares Algorithm for Sparse Regularization

Sergey Voronin, Ingrid Daubechies|arXiv (Cornell University)|Nov 29, 2015

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

该论文提出了一种迭代重加权最小二乘法（IRLS）算法，用于最小化一种广义的稀疏性促进泛函，该泛函包含具有不同指数 $q_k$ 和权重 $ \lambda_k$ 的非相同 $ \ell_1$-类惩罚项。该方法通过迭代平滑不可微的绝对值项，确保收敛至原始非光滑泛函的极小化点，同时通过二次子问题实现高效优化。

ABSTRACT

We present a new algorithm and the corresponding convergence analysis for the regularization of linear inverse problems with sparsity constraints, applied to a new generalized sparsity promoting functional. The algorithm is based on the idea of iteratively reweighted least squares, reducing the minimization at every iteration step to that of a functional including only $\ell_2$-norms. This amounts to smoothing of the absolute value function that appears in the generalized sparsity promoting penalty we consider, with the smoothing becoming iteratively less pronounced. We demonstrate that the sequence of iterates of our algorithm converges to a limit that minimizes the original functional.

研究动机与目标

• 开发一种收敛算法，用于最小化广义稀疏性促进泛函 $F_{\mathbf{q},\boldsymbol{\lambda}}(x) = \|Ax - b\|_2^2 + 2\sum_k \lambda_k |x_k|^{q_k}$，其中 $q_k \in [1,2]$ 且 $\lambda_k$ 按分量变化。
• 通过允许每个系数采用不同的稀疏性诱导惩罚，克服标准 $\ell_1$ 方法的局限性，尤其适用于具有混合稀疏与密集分量的信号。
• 将经典 IRLS 框架扩展至无约束、非相同 $q_k$-范数惩罚情形，使其可应用于多尺度表示（如小波分解）。
• 提供严格的收敛性分析，阐明代理泛函的平滑速率与迭代序列收敛速度之间的关系。
• 证明该算法在恢复具有异质稀疏模式的信号方面优于 ISTA/FISTA，尤其在图像去模糊和压缩感知任务中表现更优。

提出的方法

• 在每次迭代中，利用基于加权 $\ell_2$-范数的平滑代理函数近似非光滑项 $|x_k|^{q_k}$，其中权重根据当前迭代值更新。
• 每一步的子问题简化为求解标准最小二乘问题：$\min_x \|Ax - b\|_2^2 + \sum_k w_k^{(n)} (x_k - x_k^{(n)})^2$，其中 $w_k^{(n)}$ 为迭代更新的权重。
• 权重定义为 $w_k^{(n)} = \frac{1}{2} q_k \lambda_k (|x_k^{(n)}| + \varepsilon)^{2 - q_k}$，其中 $\varepsilon > 0$ 以避免除零错误，从而保证平滑性。
• 通过求解一系列二次逼近问题，迭代地改进解，且随着迭代进行，平滑程度逐渐减弱。
• 该方法扩展至包含多个正则化参数 $\tau$ 的延续方案，将前一解作为初始猜测复用。
• 共轭梯度法自然适用于二次子问题，从而支持大规模问题的高效实现。

实验结果

研究问题

• RQ1 能否将基于 IRLS 的算法推广至处理稀疏正则化中的非相同 $q_k$-范数惩罚，从而实现对每个系数的差异化稀疏约束？
• RQ2 迭代重加权方案的收敛性如何与代理泛函的平滑速率及原始非光滑泛函相关联？
• RQ3 所提出的算法是否在恢复具有稀疏与密集混合分量的信号方面优于标准 ISTA/FISTA，特别是在按系数自适应调整 $q_k$ 时？
• RQ4 该方法能否有效处理多尺度表示（如小波系数），其中粗尺度与细尺度分量需要不同的正则化？
• RQ5 在图像去模糊与压缩感知任务中，使用 $q_k < 1$ 对重建图像的锐度与收敛速度有何影响？

主要发现

• IRLS 算法可收敛至原始非光滑泛函 $F_{\mathbf{q},\boldsymbol{\lambda}}(x)$ 的极小化点，在较弱条件下可保证收敛。
• 对于半稀疏、半密集信号，采用 $q_k=1$ 处理稀疏部分、$q_k=1.9$ 处理密集部分的 IRLS 算法，优于使用统一 $q_k=1$ 的 ISTA/FISTA，显著降低了恢复误差。
• 在高斯模糊与噪声（SNR=25）的图像去模糊任务中，采用 $q_k=0.85$ 的 IRLS 重建图像比 $q_k=1$ 更为清晰，视觉质量更优。
• 该算法在收敛速度上与 FISTA 性能相当，同时支持按系数自适应控制稀疏性。
• 通过 $\tau$ 值的延续策略显著提升了恢复精度，尤其在病态系统中表现更佳。
• 该方法在不同矩阵条件下的鲁棒性良好，且在大规模问题中表现良好，如 $1000 \times 1000$ 矩阵实验中处理 $12\%$ 稀疏信号时表现优异。