[论文解读] ECME Thresholding Methods for Sparse Signal Reconstruction

Kun Qiu, A. Dogandzic|arXiv (Cornell University)|Apr 27, 2010

Sparse and Compressive Sensing Techniques参考文献 36被引用 9

一句话总结

该论文提出了一种用于稀疏信号重建的基于概率的ECME阈值化框架，保证收敛至局部似然最大值，并引入了两种新算法——DORE与ADORE，以加速收敛并自动选择稀疏度水平。主要贡献在于提出了一种新的最小稀疏子空间商（SSQ）条件，该条件在比传统限制等距性质（RIP）更宽松的条件下，确保近似最优或完美恢复。

ABSTRACT

We propose a probabilistic framework for interpreting and developing hard thresholding sparse signal reconstruction methods and present several new algorithms based on this framework. The measurements follow an underdetermined linear model, where the regression-coefficient vector is the sum of an unknown deterministic sparse signal component and a zero-mean white Gaussian component with an unknown variance. We first derive an expectation-conditional maximization either (ECME) iteration that guarantees convergence to a local maximum of the likelihood function of the unknown parameters for a given signal sparsity level. To analyze the reconstruction accuracy, we introduce the minimum sparse subspace quotient (SSQ), a more flexible measure of the sampling operator than the well-established restricted isometry property (RIP). We prove that, if the minimum SSQ is sufficiently large, ECME achieves perfect or near-optimal recovery of sparse or approximately sparse signals, respectively. We also propose a double overrelaxation (DORE) thresholding scheme for accelerating the ECME iteration. If the signal sparsity level is unknown, we introduce an unconstrained sparsity selection (USS) criterion for its selection and show that, under certain conditions, applying this criterion is equivalent to finding the sparsest solution of the underlying underdetermined linear system. Finally, we present our automatic double overrelaxation (ADORE) thresholding method that utilizes the USS criterion to select the signal sparsity level. We apply the proposed schemes to reconstruct sparse and approximately sparse signals from tomographic projections and compressive samples.

研究动机与目标

• 解决迭代硬阈值化（IHT）和归一化IHT（NIHT）的局限性，包括收敛缓慢、对传感矩阵缩放敏感以及依赖于已知的稀疏度水平。
• 开发一种基于统计推断与似然最大化方法的概率框架，以解释并推广硬阈值化方法。
• 提出一种新的恢复条件——最小稀疏子空间商（SSQ），其灵活性高于受限等距性质（RIP），并能确保稳定的信号恢复。
• 提出双超松弛（DORE）方案以加速ECME迭代，并提出无约束稀疏度选择（USS）准则，以自动选择信号稀疏度水平。
• 证明USS准则在特定条件下等价于求解欠定线性系统的最稀疏解。

提出的方法

• 构建一个概率模型，其中信号为确定性稀疏分量与未知方差的零均值白高斯噪声之和。
• 推导出一种期望-条件最大化交替（ECME）算法，通过迭代最大化未知参数的似然函数，确保收敛至局部最大值。
• 引入最小稀疏子空间商（SSQ）作为采样算子的新度量，其推广了RIP，并允许更宽松的恢复条件。
• 设计一种双超松弛（DORE）阈值化方案，通过采用超松弛步长更新信号估计，以加速ECME迭代。
• 基于最大化边际似然，提出一种无约束稀疏度选择（USS）准则，以在无需先验知识的情况下自动选择最优稀疏度水平。
• 开发自动双超松弛（ADORE）方法，将USS准则与DORE方案相结合，实现完全自动化、快速且精确的稀疏信号重建。

实验结果

研究问题

• RQ1 能否开发一种概率框架，以解释并推广用于稀疏信号重建的迭代硬阈值化方法？
• RQ2 最小稀疏子空间商（SSQ）是否提供比受限等距性质（RIP）更灵活、更宽松的条件，以确保稳定信号恢复？
• RQ3 能否通过超松弛技术加速ECME算法，同时保持收敛性与恢复性能？
• RQ4 在适当条件下，无约束稀疏度选择（USS）准则是否等价于求解欠定线性系统的最稀疏解？
• RQ5 所提出的ADORE方法是否能在无需事先知晓稀疏度水平的情况下，实现稀疏或近似稀疏信号的近似最优或完美恢复？

主要发现

• ECME算法可保证收敛至给定稀疏度水平下似然函数的局部最大值，确保稳定迭代更新。
• 若最小稀疏子空间商（SSQ）足够大，则ECME方法可实现对稀疏或近似稀疏信号的完美或近似最优恢复。
• DORE阈值化方案通过超松弛信号更新步骤加速收敛，提升计算效率。
• USS准则通过最大化边际似然选择最优稀疏度水平，且在特定条件下等价于求解欠定系统的最稀疏解。
• ADORE方法结合USS与DORE，实现无需先验稀疏度知识的自动、快速且精确的重建。
• 在断层投影与压缩采样上的数值实验结果表明，所提方法在重建精度与收敛速度方面均优于现有IHT与NIHT变体。