[论文解读] Low-Complexity Iterative Algorithms for (Discrete) Compressed Sensing

Robert F. H. Fischer, Susanne Sparrer|arXiv (Cornell University)|May 19, 2017

Sparse and Compressive Sensing Techniques参考文献 25被引用 3

一句话总结

该论文提出了一种基于Krylov子空间对最优线性MMSE估计器进行近似的低复杂度迭代压缩感知算法，实现了比近似消息传递（AMP）更快的收敛速度，同时保持了高效的信号重建性能。该方法统一了类turbo压缩感知中的关键组件——估计、去偏和软阈值处理，且在各种分布下的离散信号上均表现出高性能。

ABSTRACT

We consider iterative (`turbo') algorithms for compressed sensing. First, a unified exposition of the different approaches available in the literature is given, thereby enlightening the general principles and main differences. In particular we discuss i) the estimation step (matched filter vs. optimum MMSE estimator), ii) the unbiasing operation (implicitly or explicitly done and equivalent to the calculation of extrinsic information), and iii) thresholding vs. the calculation of soft values. Based on these insights we propose a low-complexity but well-performing variant utilizing a Krylov space approximation of the optimum linear MMSE estimator. The derivations are valid for any probability density of the signal vector. However, numerical results are shown for the discrete case. The novel algorithms shows very good performance and even slightly faster convergence compared to approximative message passing.

研究动机与目标

• 解决迭代压缩感知算法中最优MMSE估计的高计算复杂度问题。
• 统一并澄清现有类turbo压缩感知方法的核心组件：估计、去偏和阈值处理。
• 开发一种实用的、低复杂度的近似消息传递（AMP）替代方案，同时保持高重建精度。
• 实现离散压缩感知的高效信号恢复，且计算开销最小化。
• 将该框架推广至任意信号概率分布，同时在离散情况下验证其有效性。

提出的方法

• 利用Krylov子空间方法近似最优线性MMSE估计器，降低计算成本，同时保持精度。
• 采用受turbo处理启发的迭代框架，通过去偏操作计算外信息。
• 对估计的信号值应用软阈值处理，并利用外信息在迭代过程中优化估计。
• 集成匹配滤波器或基于MMSE的估计步骤，所提方法更倾向于采用MMSE近似以提升性能。
• 通过显式计算外信息来处理去偏，确保迭代间信息交换的一致性。
• 支持任意信号概率密度函数，数值验证聚焦于离散信号模型。

实验结果

研究问题

• RQ1 如何在不牺牲性能的前提下降低迭代压缩感知中最优MMSE估计的计算复杂度？
• RQ2 与标准AMP相比，使用Krylov子空间近似对收敛速度和重建精度有何影响？
• RQ3 不同的估计策略（匹配滤波器 vs. MMSE）和阈值方法如何影响迭代压缩感知的性能？
• RQ4 能否建立一个统一框架，用于比较和对比现有迭代压缩感知算法在估计、去偏和软输出计算方面的异同？
• RQ5 所提算法在不同信号分布上的泛化能力如何，特别是在离散信号情况下？

主要发现

• 所提算法在显著降低计算复杂度的同时，性能可与最优MMSE估计器相媲美。
• Krylov子空间近似在数值实验中实现了比传统近似消息传递（AMP）更快的收敛速度。
• 该方法在不同信噪比和稀疏度水平下，对离散信号均保持了高重建精度。
• 通过显式去偏计算外信息，提升了迭代收敛性和估计稳定性。
• 该算法在不同信号分布下均表现出鲁棒性，尤其在离散情况下已验证其有效性。
• 该框架为现有迭代压缩感知技术提供了统一视角，清晰揭示了其内在原理与差异。