[论文解读] Compressed Sensing via Universal Denoising and Approximate Message Passing

Yanting Ma, Junan Zhu+1 more|arXiv (Cornell University)|Jul 8, 2014

Sparse and Compressive Sensing Techniques参考文献 37被引用 8

一句话总结

本文提出AMP-UD，一种结合近似消息传递（AMP）与基于上下文量化和高斯混合建模的通用去噪器的通用压缩感知重建算法。通过将平稳遍历信号去噪问题转化为独立同分布子序列的去噪问题，并采用自适应密度估计，AMP-UD在无需信号统计先验知识的情况下实现了接近最小均方误差的性能，在重建质量与运行时间方面均优于现有方法。

ABSTRACT

We study compressed sensing (CS) signal reconstruction problems where an input signal is measured via matrix multiplication under additive white Gaussian noise. Our signals are assumed to be stationary and ergodic, but the input statistics are unknown; the goal is to provide reconstruction algorithms that are universal to the input statistics. We present a novel algorithm that combines: (i) the approximate message passing (AMP) CS reconstruction framework, which converts the matrix channel recovery problem into scalar channel denoising; (ii) a universal denoising scheme based on context quantization, which partitions the stationary ergodic signal denoising into independent and identically distributed (i.i.d.) subsequence denoising; and (iii) a density estimation approach that approximates the probability distribution of an i.i.d. sequence by fitting a Gaussian mixture (GM) model. In addition to the algorithmic framework, we provide three contributions: (i) numerical results showing that state evolution holds for non-separable Bayesian sliding-window denoisers; (ii) a universal denoiser that does not require the input signal to be bounded; and (iii) we modify the GM learning algorithm, and extend it to an i.i.d. denoiser. Our universal CS recovery algorithm compares favorably with existing reconstruction algorithms in terms of both reconstruction quality and runtime, despite not knowing the input statistics of the stationary ergodic signal.

研究动机与目标

• 开发一种对未知输入信号统计特性具有普适性的压缩感知重建算法，尤其适用于平稳遍历信号。
• 克服现有贝叶斯方法与基于优化的方法所存在的局限性，后者需要信号分布或参数的先验知识。
• 设计一种不假设输入信号有界的去噪器，以提升其适用范围。
• 将高斯混合模型的密度估计方法整合进AMP框架，实现自适应、数据驱动的去噪。
• 验证在AMP框架中，对于非可分、滑动窗口去噪器，状态演化理论是否成立。

提出的方法

• 该算法使用近似消息传递（AMP）将矩阵信道问题分解为标量去噪问题。
• 基于上下文量化的通用去噪器将平稳遍历信号划分为独立同分布子序列，实现独立去噪。
• 每个独立同分布子序列通过一种专为去噪而非密度估计而设计的改进型高斯混合（GM）学习算法进行去噪。
• 该去噪器同时计算去噪后的信号以及AMP中所需的Onsager校正项导数。
• 该框架利用状态演化理论预测算法性能并确保收敛性。
• 将通用去噪器扩展以处理无界信号，消除了先前通用去噪方案中的关键限制。

实验结果

研究问题

• RQ1 能否在AMP框架中可靠地应用状态演化理论于非可分、贝叶斯滑动窗口去噪器？
• RQ2 能否设计一种无需假设输入信号有界的通用去噪器？
• RQ3 能否在压缩感知背景下有效适配高斯混合模型用于去噪而非密度估计？
• RQ4 基于AMP的通用重建算法在重建质量与运行时间方面与最先进方法相比表现如何？
• RQ5 所提出的算法能否在不掌握信号结构或统计特性的情况下实现接近最小均方误差的性能？

主要发现

• AMP-UD在包括i.i.d.稀疏拉普拉斯、马尔可夫-均匀以及密集马尔可夫雷姆谢夫信号在内的多种信号类型中，重建性能均接近最小均方误差（MMSE）的3 dB以内。
• 该算法在信噪比（SDR）和运行时间方面均优于SLA-MCMC与turboGAMP，大多数信号的典型运行时间低于10分钟。
• 数值结果证实，状态演化理论适用于非可分贝叶斯滑动窗口去噪器，将AMP理论的有效性范围从可分去噪器扩展至更广泛场景。
• 所提出的通用去噪器成功处理了无界信号，相较于以往要求信号有界的通用去噪方法，实现了显著进步。
• AMP-UD在不依赖信号结构或统计特性知识的情况下实现了接近MMSE的性能，展现出强大的普适性与鲁棒性。
• 改进的高斯混合学习算法实现了有效的独立同分布去噪，且所得到的去噪器可准确集成至AMP框架中，实现Onsager校正。