[论文解读] Fast Algorithms for Sparse Recovery with Perturbed Dictionary

Xuebing Han, Hao Zhang+1 more|arXiv (Cornell University)|Nov 27, 2011

Sparse and Compressive Sensing Techniques参考文献 8被引用 7

一句话总结

本文提出 TLS-FOCUSS 和 SD-FOCUSS，这两种算法在存在测量值和字典矩阵扰动的欠定线性系统中，实现了快速且鲁棒的稀疏恢复。通过将总体最小二乘法（TLS）与 FOCUSS 框架相结合，该方法在计算成本较低的前提下实现了接近最优的性能，其速度和精度均优于现有方法（如 S-TLS），同时保持了收敛性保证。

ABSTRACT

In this paper, we account for approaches of sparse recovery from large underdetermined linear models with perturbation present in both the measurements and the dictionary matrix. Existing methods have high computation and low efficiency. The total least-squares (TLS) criterion has well-documented merits in solving linear regression problems while FOCal Underdetermined System Solver (FOCUSS) has low-computation complexity in sparse recovery. Based on TLS and FOCUSS methods, the present paper develops more fast and robust algorithms, TLS-FOCUSS and SD-FOCUSS. TLS-FOCUSS algorithm is not only near-optimum but also fast in solving TLS optimization problems under sparsity constraints, and thus fit for large scale computation. In order to reduce the complexity of algorithm further, another suboptimal algorithm named D-FOCUSS is devised. SD-FOCUSS can be applied in MMV (multiple-measurement-vectors) TLS model, which fills the gap of solving linear regression problems under sparsity constraints. The convergence of TLS-FOCUSS algorithm and SD-FOCUSS algorithm is established with mathematical proof. The simulations illustrate the advantage of TLS-FOCUSS and SD-FOCUSS in accuracy and stability, compared with other algorithms.

研究动机与目标

• 解决当测量值和字典矩阵均受扰动时，缺乏高效稀疏恢复算法的问题。
• 在保持 FOCUSS 低计算复杂度和快速收敛特性的基础上，提升对扰动的鲁棒性。
• 开发一种结合总体最小二乘法（TLS）最优性与 FOCUSS 迭代重加权机制的稀疏恢复方法。
• 将该框架扩展至多测量向量（MMV）模型，使其适用于更广泛的信号恢复场景。
• 提供理论收敛性证明，并通过实证验证其性能相对于 S-TLS 和标准 FOCUSS 等现有方法的提升。

提出的方法

• 在贝叶斯 MAP 估计框架下建立稀疏恢复问题，推导出同时包含测量值和字典扰动的正则化目标函数。
• 基于 FOCUSS 框架推导出一种迭代重加权算法，通过迭代更新权重以促进解的稀疏性。
• 通过在 FOCUSS 迭代中嵌入总体最小二乘准则，提出 TLS-FOCUSS，实现对数据和字典误差的同时最小化。
• 提出 SD-FOCUSS 作为次优变体，通过简化更新规则降低计算成本，使其适用于 MMV 场景。
• 在测量值和字典扰动满足标准假设的前提下，为 TLS-FOCUSS 和 SD-FOCUSS 建立数学收敛性证明。
• 将算法应用于单测量向量（SMV）和多测量向量（MMV）模型，验证其在不同信噪比和稀疏度水平下的鲁棒性。

实验结果

研究问题

• RQ1 能否开发一种快速且鲁棒的稀疏恢复算法，以同时考虑测量向量和字典矩阵的扰动？
• RQ2 与标准 FOCUSS 或 S-TLS 相比，将总体最小二乘法（TLS）与 FOCUSS 框架结合，是否能在准确性和收敛速度方面实现性能提升？
• RQ3 所提出的算法在不同信噪比和稀疏度水平下是否能保持稳定性和准确性？
• RQ4 SD-FOCUSS 变体在 MMV 场景中是否能提供计算效率与恢复精度之间的可行权衡？
• RQ5 在受扰动的线性模型下，所提出的迭代算法的理论收敛行为如何？

主要发现

• TLS-FOCUSS 实现了接近最优的恢复性能，计算速度显著快于 S-TLS，将 128×512 问题的平均运行时间从 5 秒以上降低至 0.6 秒以下。
• SD-FOCUSS 进一部降低了计算复杂度，在相同设置下平均运行时间仅为 0.3 秒，适用于大规模应用。
• 在单测量向量（SMV）场景中，TLS-FOCUSS 和 SD-FOCUSS 在成功率和 RMSE 方面均优于标准 FOCUSS 和 S-TLS，尤其在低信噪比下表现更优。
• 在多测量向量（MMV）场景中，SD-FOCUSS 的成功率更高且 MSE 更低，优于 MMV FOCUSS、正则化 MMV FOCUSS 和 MMV OMP，且随着观测向量数量（L）的增加，优势更加明显。
• 在所提出的迭代框架下，TLS-FOCUSS 和 SD-FOCUSS 的收敛性已通过数学证明，确保了迭代过程中的稳定性能。
• 在 SNR = 15 dB 且 k/m = 0.5 的条件下，TLS-FOCUSS 的成功率超过 95%，而 S-TLS 仅为 80%，表明其具有更优的鲁棒性。