[论文解读] On the Fundamental Limits of Adaptive Sensing

Ery Arias-Castro, Emmanuel J. Candès+1 more|arXiv (Cornell University)|Nov 20, 2011

Sparse and Compressive Sensing Techniques参考文献 28被引用 13

一句话总结

本文挑战了人们普遍认为自适应传感能显著优于非自适应方法进行稀疏信号估计的观点。研究证明，尽管采用了复杂的自适应策略和估算方法，其基本均方误差（MSE）极限与使用ℓ₁最小化的简单非自适应压缩感知几乎相同，尤其是在信噪比（SNR）较低至中等的范围内。

ABSTRACT

Suppose we can sequentially acquire arbitrary linear measurements of an n-dimensional vector x resulting in the linear model y = Ax + z, where z represents measurement noise. If the signal is known to be sparse, one would expect the following folk theorem to be true: choosing an adaptive strategy which cleverly selects the next row of A based on what has been previously observed should do far better than a nonadaptive strategy which sets the rows of A ahead of time, thus not trying to learn anything about the signal in between observations. This paper shows that the folk theorem is false. We prove that the advantages offered by clever adaptive strategies and sophisticated estimation procedures---no matter how intractable---over classical compressed acquisition/recovery schemes are, in general, minimal.

研究动机与目标

• 严格研究自适应传感策略是否能在稀疏信号估计中从根本上优于非自适应压缩感知。
• 确定在测量过程中学习信号信息是否能显著降低估计误差。
• 建立任何自适应传感与估计方案的信道容量理论下界。
• 分析在不同信号振幅和测量约束条件下，自适应算法在支撑集恢复中的相变行为。

提出的方法

• 将自适应传感问题形式化为对稀疏信号进行独立同分布（i.i.d.）高斯噪声下的序列线性测量。
• 利用信息论工具，推导出任何自适应传感与估计策略的均方误差（MSE）基本下界。
• 通过i.i.d. Rademacher矩阵与正交匹配追踪（OMP）比较自适应算法（如算法1和2）与非自适应方案的性能。
• 分析一种两阶段自适应过程：首先使用自适应测量检测支撑集，然后用剩余测量估计幅值。
• 利用假设检验与信息界分析，刻画可靠支撑集检测的临界信号振幅阈值。
• 结合理论分析与数值模拟，评估在不同信号振幅与测量次数下的MSE性能。

实验结果

研究问题

• RQ1 自适应传感策略能否在根本上实现低于非自适应压缩感知ℓ₁最小化方法的均方误差（MSE）？
• RQ2 任何自适应传感与估计过程在稀疏信号上的基本信息论性能极限是什么？
• RQ3 在何种信号振幅下，自适应传感在MSE方面开始显著优于非自适应方法？
• RQ4 测量次数如何影响自适应算法在支撑集恢复中的相变行为？
• RQ5 当信噪比（SNR）较低时，自适应与非自适应方案之间的性能差距是否显著？

主要发现

• 民间定理声称自适应传感能极大提升估计性能，这一观点在一般情况下并不成立：自适应策略相较于非自适应ℓ₁最小化仅带来微小改进。
• 任何自适应传感策略的MSE下界与非自适应压缩感知的MSE仅相差一个常数因子，尤其在信噪比较低时更为接近。
• 对于1-稀疏信号，当信号振幅μ ≥ C√(n/m)时，自适应方法可高概率恢复支撑集，表明该下界在常数范围内是紧致的。
• 当信号振幅μ超过某一临界阈值时，自适应算法的MSE迅速下降，并趋近于最优的(1/mn)速率，该速率仅在已知支撑集的前提下可实现。
• 在两阶段自适应过程中，若支撑集被正确识别，则所得MSE在常数因子内接近“已知支撑集”（oracle）情况，且随着估计测量数增加，趋近于(1/mn)。
• 数值模拟结果表明，自适应算法的最坏情况MSE与非自适应方案相当，但当μ足够大以实现可靠支撑集检测时，其性能显著优于非自适应方法。