[论文解读] Informative Sensing

Hyun Sung Chang, Yair Weiss+1 more|ArXiv.org|Jan 27, 2009

Sparse and Compressive Sensing Techniques参考文献 24被引用 10

一句话总结

本文提出信息感知（informative sensing）作为一种最优压缩感知框架，通过最大化信号与其线性投影之间的互信息来实现。基于InfoMax原理，推导出非随机、非PCA的投影——称为‘不确定分量’（uncertain components）——其性能优于随机投影及传统PCA/ICA投影，尤其在自然图像中，带内加权的低频随机投影在噪声环境下接近最优表现。

ABSTRACT

Compressed sensing is a recent set of mathematical results showing that sparse signals can be exactly reconstructed from a small number of linear measurements. Interestingly, for ideal sparse signals with no measurement noise, random measurements allow perfect reconstruction while measurements based on principal component analysis (PCA) or independent component analysis (ICA) do not. At the same time, for other signal and noise distributions, PCA and ICA can significantly outperform random projections in terms of enabling reconstruction from a small number of measurements. In this paper we ask: given the distribution of signals we wish to measure, what are the optimal set of linear projections for compressed sensing? We consider the problem of finding a small number of linear projections that are maximally informative about the signal. Formally, we use the InfoMax criterion and seek to maximize the mutual information between the signal, x, and the (possibly noisy) projection y=Wx. We show that in general the optimal projections are not the principal components of the data nor random projections, but rather a seemingly novel set of projections that capture what is still uncertain about the signal, given the knowledge of distribution. We present analytic solutions for certain special cases including natural images. In particular, for natural images, the near-optimal projections are bandwise random, i.e., incoherent to the sparse bases at a particular frequency band but with more weights on the low-frequencies, which has a physical relation to the multi-resolution representation of images.

研究动机与目标

• 确定在已知信号分布下压缩感知的最优线性投影。
• 解决随机、PCA或ICA投影在噪声或非稀疏信号场景下的局限性。
• 形式化一种新型传感框架——‘信息感知’（informative sensing）——以最大化信号与其投影之间的互信息。
• 在特定信号模型下推导最优投影的解析解，包括自然图像。
• 证明最优投影既非主分量也非独立分量，而是捕捉信号分布中残余不确定性的投影。

提出的方法

• 利用InfoMax原理最大化信号x与其投影y = Wx之间的互信息I(x; y)。
• 通过在无噪声和有噪声条件下最大化I(x; y)，推导出最优W，其在信号方差与不确定性降低之间存在权衡。
• 在无噪声设定下，该方法等价于最大化微分熵h(y)，即最小化未测量分量z|y的熵。
• 在有噪声设定下，建模信号加噪声的分布，并推导广义高斯分布的形状参数以量化信息含量。
• 采用动态规划计算期望子体积行列式，以估计高维投影中的熵。
• 应用基于小波的分解与带内随机投影，以建模自然图像统计特性并优化投影设计。

实验结果

研究问题

• RQ1 当信号分布已知时，压缩感知的最优线性投影是什么？
• RQ2 InfoMax方法生成的投影在不同信号与噪声模型下，相较于随机、PCA或ICA投影的性能如何？
• RQ3 为何随机投影在非白或结构化信号（如自然图像）中表现不佳？何种投影可作为其最优替代？
• RQ4 能否为特定信号类别（如自然图像）推导出最优投影的解析解？
• RQ5 最优投影结构与多分辨率图像表示及频率带特性之间有何关联？

主要发现

• 压缩感知的最优投影并非主分量、独立分量或随机投影，而是一类新型投影，能够捕捉信号分布中的残余不确定性。
• 对于白噪声稀疏信号，随机投影为最优，因其能最大化熵并最小化信息损失。
• 对于非白信号（如自然图像），在低频带赋予更高权重的带内随机投影接近最优，且优于随机与PCA投影。
• 在低信噪比（low-SNR）环境下，不确定分量分析（UCA）投影在重建质量上显著优于随机投影与Romberg方法。
• UCA方法可自适应信号稀疏性与噪声水平，在多种条件下实现接近最优的性能。
• 对于自然图像，最优投影结构与多分辨率图像表示一致，倾向于保留低频内容，并在各频带中与稀疏基保持非相干性。