[论文解读] Information-Theoretically Optimal Compressed Sensing via Spatial Coupling and Approximate Message Passing

David L. Donoho, Adel Javanmard+1 more|arXiv (Cornell University)|Dec 4, 2011

Sparse and Compressive Sensing Techniques参考文献 47被引用 12

一句话总结

本文提出了一种基于空间耦合测量矩阵和近似消息传递（AMP）的严格信息论最优压缩感知框架。通过状态演化分析，证明了在使用AMP时，可从$\overline{d}(p_X)n + o(n)$组测量中以高概率实现重构——该测量数与信号分布的Rényi信息维数完全一致，从而在稀疏信号和离散信号情况下均实现了最优欠采样率。

ABSTRACT

We study the compressed sensing reconstruction problem for a broad class of random, band-diagonal sensing matrices. This construction is inspired by the idea of spatial coupling in coding theory. As demonstrated heuristically and numerically by Krzakala et al. \cite{KrzakalaEtAl}, message passing algorithms can effectively solve the reconstruction problem for spatially coupled measurements with undersampling rates close to the fraction of non-zero coordinates. We use an approximate message passing (AMP) algorithm and analyze it through the state evolution method. We give a rigorous proof that this approach is successful as soon as the undersampling rate $δ$ exceeds the (upper) Rényi information dimension of the signal, $\uRenyi(p_X)$. More precisely, for a sequence of signals of diverging dimension $n$ whose empirical distribution converges to $p_X$, reconstruction is with high probability successful from $\uRenyi(p_X)\, n+o(n)$ measurements taken according to a band diagonal matrix. For sparse signals, i.e., sequences of dimension $n$ and $k(n)$ non-zero entries, this implies reconstruction from $k(n)+o(n)$ measurements. For `discrete' signals, i.e., signals whose coordinates take a fixed finite set of values, this implies reconstruction from $o(n)$ measurements. The result is robust with respect to noise, does not apply uniquely to random signals, but requires the knowledge of the empirical distribution of the signal $p_X$.

研究动机与目标

• 通过实现最优欠采样率，弥合压缩感知中信息论极限与实际重构算法之间的差距。
• 证明空间耦合测量矩阵可使近似消息传递（AMP）在重构速率上达到上Rényi信息维数$\overline{d}(p_X)$的上限。
• 在AMP框架与状态演化分析下，为经验分布收敛于$p_X$的信号序列提供成功重构的严格证明。
• 将理论保证扩展至噪声环境，并展示具有通用均方误差界下的鲁棒性。
• 证明该方法对离散信号实现次线性测量量 scaling（$m = o(n)$），并对$k$-稀疏信号实现$k(n) + o(n)$的测量量。

提出的方法

• 构建受编码理论启发的带状对角空间耦合测量矩阵，以支持高效的讯息传递。
• 采用近似消息传递（AMP）算法并结合状态演化，以追踪迭代过程中估计误差的动力学行为。
• 通过状态演化方程分析AMP，以表征重构过程中每个坐标分量的渐近均方误差（MSE）。
• 将Rényi信息维数$\overline{d}(p_X)$用作测量速率的基本极限，定义最优欠采样阈值。
• 应用变分分析与能量方法，证明在状态演化框架下AMP动力学的收敛性与稳定性。
• 通过在加性高斯噪声下有界MSE的分析，建立鲁棒性，表明误差界具有通用性，不依赖于信号实现。

实验结果

研究问题

• RQ1 使用空间耦合测量矩阵的近似消息传递能否在压缩感知中实现信息论最优的重构速率？
• RQ2 AMP的重构成功阈值是否恰好等于信号分布的上Rényi信息维数$\overline{d}(p_X)$？
• RQ3 该方法能否在保持高概率重构的同时，对离散信号实现次线性测量量scaling（即$m = o(n)$）？
• RQ4 在噪声测量下，AMP算法表现如何？能否实现具有有界MSE的通用鲁棒性？
• RQ5 空间耦合在使AMP达到信息论极限中起到什么作用？该结论如何被严格证明？

主要发现

• 当使用空间耦合测量矩阵和AMP时，可从$\overline{d}(p_X)n + o(n)$组测量中以高概率实现重构。
• 对于$k(n)$-稀疏信号，该方法可从$k(n) + o(n)$组测量中实现重构，与信息论下限完全匹配。
• 对于具有离散分量的信号（例如有限字母表信号），该方法仅需$o(n)$组测量，展现出次线性scaling特性。
• 结合状态演化的AMP算法实现了通用鲁棒性：在加性高斯噪声下，每个坐标分量的MSE被有界为$\sigma^2$的常数倍。
• 该证明依赖于能量泛函的变分分析与状态演化收敛性分析，表明固定点对应于最优重构。
• 该结果适用于任意具有已知经验分布的信号分布$p_X$，且对信号模型的微小扰动具有鲁棒性。