[论文解读] Fast Iteratively Reweighted Least Squares Algorithms for Analysis-Based Sparsity Reconstruction

Chen Chen, Junzhou Huang+2 more|arXiv (Cornell University)|Nov 18, 2014

Sparse and Compressive Sensing Techniques参考文献 44被引用 9

一句话总结

该论文提出了一种用于分析型稀疏重建的快速迭代重新加权最小二乘法（FIRLS）算法，通过在共轭梯度法中引入一种新型伪对角预条件子，加速了收敛速度。该方法实现了指数级收敛，同时显著降低了每次迭代的计算成本，在压缩感知磁共振成像（CS-MRI）和多对比成像任务中，其精度和计算效率均优于14种最先进的方法。

ABSTRACT

In this paper, we propose a novel algorithm for analysis-based sparsity reconstruction. It can solve the generalized problem by structured sparsity regularization with an orthogonal basis and total variation regularization. The proposed algorithm is based on the iterative reweighted least squares (IRLS) model, which is further accelerated by the preconditioned conjugate gradient method. The convergence rate of the proposed algorithm is almost the same as that of the traditional IRLS algorithms, that is, exponentially fast. Moreover, with the specifically devised preconditioner, the computational cost for each iteration is significantly less than that of traditional IRLS algorithms, which enables our approach to handle large scale problems. In addition to the fast convergence, it is straightforward to apply our method to standard sparsity, group sparsity, overlapping group sparsity and TV based problems. Experiments are conducted on a practical application: compressive sensing magnetic resonance imaging. Extensive results demonstrate that the proposed algorithm achieves superior performance over 14 state-of-the-art algorithms in terms of both accuracy and computational cost.

研究动机与目标

• 解决分析型稀疏重建中重叠组稀疏性和总变差正则化缺乏高效算法的问题。
• 克服传统IRLS方法因每次迭代中大规模矩阵求逆而导致的高计算成本。
• 开发一种快速、可扩展的算法，在保持指数级收敛速度的同时降低每次迭代的复杂度。
• 实现对大规模医学成像逆问题（如压缩感知MRI）的高效求解。
• 将IRLS方法的适用范围扩展至结构化稀疏模式，包括重叠组、联合稀疏性和总变差正则化。

提出的方法

• 提出一种基于快速IRLS的算法，用于求解广义分析型稀疏重建问题：min_x {½||Ax−b||²₂ + λ||Ψx||₂,₁}，其中Ψ为正交矩阵，且包含总变差正则化。
• 利用带有新型伪对角预条件子的预条件共轭梯度（PCG）方法，加速子问题的求解。
• 设计一种预条件子，在保持非对角信息的同时维持较低的计算成本，尤其在系统矩阵S具有对角优势时表现更优。
• 将该算法应用于多种稀疏模式：标准ℓ₁、非重叠与重叠组稀疏性，以及总变差正则化。
• 确保当正则化中涉及变换操作（如小波变换、有限差分）时，方法仍保持高效。
• 在子问题求解中采用变量分裂与增广拉格朗日松弛策略，以保证稳定性和收敛性。

实验结果

研究问题

• RQ1 IRLS能否通过加速实现快速收敛，同时保持较低的每次迭代计算成本，以适用于重叠组稀疏性和总变差正则化？
• RQ2 专门设计的预条件子是否能显著降低IRLS子问题求解的计算成本，而不会牺牲精度？
• RQ3 所提方法在真实世界医学成像任务中，能否在重建精度和计算效率两方面均优于现有最先进的算法？
• RQ4 该方法在如压缩感知MRI这类具有复杂稀疏结构的大规模问题上，其可扩展性如何？
• RQ5 所提预条件子是否在非对角优势系统中也有效？与标准预条件子（如雅可比预条件子）相比表现如何？

主要发现

• 所提出的FIRLS方法实现了指数级收敛，其收敛速率与标准IRLS算法的理论速率一致。
• 采用伪对角预条件子后，每次迭代的计算成本显著降低，从而实现了大规模问题的高效求解。
• 在25%采样率的CS-MRI任务中，该方法平均信噪比达到33.69 dB，优于SPGL1_MMV（31.58 dB）和FCSA_MT（33.12 dB），且平均耗时降低42%（5.19s vs. 10.38s）。
• 在20%采样率下，该方法实现30.01 dB的信噪比，平均耗时5.23s，优于SPGL1_MMV（29.31 dB，9.98s）和FCSA_MT（29.69 dB，7.54s）。
• 在SRI24多对比MRI数据集上，该方法平均仅需4.6秒即可收敛，优于FCSA_MT（7.2秒）和SPGL1_MMV（9.3秒），且信噪比更高。
• 该方法在所有测试的稀疏模式下均表现出一致的优越性，包括重叠组稀疏性、联合稀疏性和总变差正则化，且在复杂结构下性能无下降。