[论文解读] Maximin Analysis of Message Passing Algorithms for Recovering Block Sparse Signals

Armeen Taeb, Arian Maleki+2 more|arXiv (Cornell University)|Mar 10, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用 8

一句话总结

该论文表明，在强欠采样情形（δ → 0）下，对于固定块大小 B 的块稀疏信号恢复，任意非线性收缩函数的近似消息传递（AMP）均无法超越组 LASSO 的性能。关键结果是，AMP 的相变阈值渐近地受 B/(2 log(1/δ)) 限制，与组 LASSO 的性能一致，从而证明在强欠采样下，对于固定 B，AMP 并未带来性能提升，尽管其在大块情形下已有先前优势。

ABSTRACT

We consider the problem of recovering a block (or group) sparse signal from an underdetermined set of random linear measurements, which appear in compressed sensing applications such as radar and imaging. Recent results of Donoho, Johnstone, and Montanari have shown that approximate message passing (AMP) in combination with Stein's shrinkage outperforms group LASSO for large block sizes. In this paper, we prove that, for a fixed block size and in the strong undersampling regime (i.e., having very few measurements compared to the ambient dimension), AMP cannot improve upon group LASSO, thereby complementing the results of Donoho et al.

研究动机与目标

• 确定在强欠采样（δ → 0）下，近似消息传递（AMP）是否能超越组 LASSO 以恢复块稀疏信号。
• 分析 AMP 在高维极限下使用一般非线性收缩函数时的相变行为。
• 在强欠采样情形下，建立 AMP 的根本性能极限，并与组 LASSO 及信息论极限进行比较。
• 解决 AMP 是否能对小而固定的块大小（在雷达和通信系统中常见）超越组 LASSO 的开放问题。

提出的方法

• 作者采用最大最小分析框架，评估在强欠采样情形（δ → 0）下 AMP 的最坏情况性能。
• 通过分析块稀疏信号在高斯混合模型下的后验均值估计器的均方误差，推导出 AMP 的渐近相变阈值。
• 分析采用贝叶斯框架，其中块系数从一个在零处的点质量与分布 G 的混合中抽取，稀疏度水平为 ε = ρδ。
• 性能通过后验均值的信噪比表征，利用测度集中和指数尾部不等式推导出边界。
• 作者计算了均方误差中的主导项，表明其随 εμ²/B 缩放，其中 μ 为调参参数，ε 为块稀疏度比例。
• 通过将所得相变阈值与 δ 相等，推导出临界归一化稀疏度 ρ*(δ) ∼ B/(2 log(1/δ))，与组 LASSO 的阈值一致。

实验结果

研究问题

• RQ1 在强欠采样情形（δ → 0）下，对于固定块大小 B，任意非线性收缩函数的近似消息传递（AMP）能否超越组 LASSO？
• RQ2 在高维极限下，AMP 在块稀疏信号恢复中的渐近相变阈值是什么？
• RQ3 在强欠采样下，AMP 的性能如何与组 LASSO 和信息论极限比较？
• RQ4 当块大小 B 固定且 δ → 0 时，AMP 与组 LASSO 之间是否存在根本性的性能差距？
• RQ5 在强欠采样情形下，AMP 中使用 Stein 收缩估计器是否能为性能带来超越组 LASSO 的提升？

主要发现

• 对于固定块大小 B 和强欠采样情形（δ → 0），AMP 中任意非线性收缩函数均无法超越组 LASSO 的性能。
• AMP 的相变阈值渐近地受 ρ*(δ) ∼ B/(2 log(1/δ)) 限制，与组 LASSO 的阈值一致。
• 该结果意味着，在强欠采样下，AMP 无法弥合组 LASSO 与信息论极限之间的差距（当 B 固定时）。
• AMP 的性能从根本上受到与组 LASSO 相同的阈值限制，即使使用 Stein 估计器等先进收缩规则亦然。
• 该分析证实，AMP 相对于组 LASSO 的优势（此前在 B → ∞ 情形下已证明）无法推广至小而固定的块大小。
• AMP 的相变与非零块的底层分布 G 无关，仅依赖于 B 和 δ。