[论文解读] An iterative thresholding algorithm for linear inverse problems with a sparsity constraint

Ingrid Daubechies, Michel Defrise+1 more|ArXiv.org|Jul 10, 2003

Numerical methods in inverse problems参考文献 20被引用 15

一句话总结

本文提出一种用于求解带稀疏性约束的线性反问题的迭代阈值算法，采用加权 ℓp 惩罚（1 ≤ p ≤ 2）。通过在每一步结合 Landweber 迭代与软阈值处理，该方法在范数下收敛，并在 p < 2 时尤其促进更稀疏的解，为大规模具有稀疏结构的问题提供了一种计算高效的 SVD 方法替代方案。

ABSTRACT

We consider linear inverse problems where the solution is assumed to have a sparse expansion on an arbitrary pre-assigned orthonormal basis. We prove that replacing the usual quadratic regularizing penalties by weighted l^p-penalties on the coefficients of such expansions, with 1 &lt; or = p &lt; or =2, still regularizes the problem. If p &lt; 2, regularized solutions of such l^p-penalized problems will have sparser expansions, with respect to the basis under consideration. To compute the corresponding regularized solutions we propose an iterative algorithm that amounts to a Landweber iteration with thresholding (or nonlinear shrinkage) applied at each iteration step. We prove that this algorithm converges in norm. We also review some potential applications of this method.

研究动机与目标

• 解决在给定或正交基下解具有稀疏表示的病态线性反问题。
• 使用加权 ℓp 惩罚（1 ≤ p ≤ 2）代替标准二次惩罚对这类问题进行正则化。
• 开发一种结合 Landweber 迭代与阈值处理的迭代算法，以计算稳定且稀疏的解。
• 在惩罚函数与算子满足适当条件时，证明算法在范数下的收敛性。

提出的方法

• 该算法基于 Landweber 迭代的迭代格式，每步通过 f^{n+1} = f^n + λ K^* (g - K f^n) 更新解的估计值。
• 在每次 Landweber 更新后，对正交基中的系数施加非线性阈值处理（收缩操作），以促进稀疏性。
• 阈值处理通过依赖正则化参数与当前系数幅值的软阈值函数定义。
• 该方法在展开系数上采用加权 ℓp 惩罚（1 ≤ p ≤ 2），以强制实现稀疏性，且当 p < 2 时可获得更稀疏的解。
• 收敛性证明依赖于惩罚函数的凸性以及算子 K^*K 的有界性，从而确保迭代序列在范数下的收敛。
• 当 K^*K 为稀疏矩阵或可利用快速变换（如小波变换、FFT）时，该算法计算高效，可在有利情况下实现 O(N log N) 的时间复杂度。

实验结果

研究问题

• RQ1 能否在保证收敛性与解稀疏性的前提下，使用 p < 2 的 ℓp 惩罚来正则化线性反问题？
• RQ2 Landweber 迭代与阈值处理的结合相较于标准 Tikhonov 正则化，如何提升解的稳定性和稀疏性？
• RQ3 在何种条件下，该迭代阈值算法对具有稀疏性约束的线性反问题可实现范数收敛？
• RQ4 该算法的时间复杂度是多少？在哪些场景下其性能优于传统的 SVD 方法？

主要发现

• 该算法对任意 1 ≤ p ≤ 2 均在范数下收敛，且在惩罚函数与算子 K 满足较弱条件时收敛性可保证。
• 采用 p < 2 的 ℓp 惩罚可使解在给定或正交基下的展开更稀疏，优于标准 Tikhonov 正则化。
• 当算子 K^*K 为稀疏矩阵或可利用快速变换（如小波、FFT）时，该方法实现计算高效，单次迭代成本降低至 O(N log N)。
• 由于稀疏性促进惩罚的存在，即使广义逆 K^† 无界，该算法仍保持稳定且收敛。
• 每步迭代中的阈值操作有效执行软收缩，倾向于产生在基表示中非零系数更少的解。
• 该方法适用于广泛的问题，包括图像重建与信号处理，尤其适用于真实解在变换域中已知或预期为稀疏的情形。