[论文解读] Minimum Complexity Pursuit: Stability Analysis

Shirin Jalali, Arian Maleki+1 more|arXiv (Cornell University)|May 21, 2012

Sparse and Compressive Sensing Techniques参考文献 19被引用 5

一句话总结

该论文将最小复杂度追踪（MCP）算法扩展至含噪声的线性测量，证明其在高斯噪声下具有稳定性。研究表明，MCP以与噪声方差成比例的σ-依赖误差界重构结构化信号，仅需$O(\kappa \log n)$组测量，其中$\kappa$为信号在分辨率$m$下的Kolmogorov复杂度。该方法具有普适性，无需对信号结构有先验知识。

ABSTRACT

A host of problems involve the recovery of structured signals from a dimensionality reduced representation such as a random projection; examples include sparse signals (compressive sensing) and low-rank matrices (matrix completion). Given the wide range of different recovery algorithms developed to date, it is natural to ask whether there exist "universal" algorithms for recovering "structured" signals from their linear projections. We recently answered this question in the affirmative in the noise-free setting. In this paper, we extend our results to the case of noisy measurements.

研究动机与目标

• 将最小复杂度追踪（MCP）算法从无噪声情形扩展至含噪声的线性测量。
• 在存在加性高斯噪声的条件下，建立MCP的理论稳定性保证。
• 推导以噪声方差和采样率表示的显式重构误差界。
• 证明MCP是一种无需事先知晓信号具体结构的通用恢复方法。
• 验证所需测量数随信号的Kolmogorov复杂度增长，而非随信号的环境维数增长。

提出的方法

• 提出MCP的改进版本，通过在具有噪声容限的线性测量约束下最小化信号的Kolmogorov复杂度，实现噪声感知的优化。
• 将实值信号在分辨率$m$下的Kolmogorov复杂度定义为$K^{[\cdot]_m}(\mathbf{x})$，即生成$\mathbf{x}$的$m$-比特量化版本的最短程序长度。
• 引入Kolmogorov信息维数$\kappa_{m,n} = K^{[\cdot]_m}(\mathbf{x}) / m$作为信号复杂度的度量。
• 利用集中不等式（如$\chi^2$-集中）分析含噪声下随机测量矩阵的行为。
• 应用引理3（关于独立高斯向量内积分布）推导重构误差的尾部界。
• 采用概率论论证表明，以高概率，含噪声MCP问题的解位于半径与$\sigma$（噪声标准差）成比例的球体内。

实验结果

研究问题

• RQ1 最小复杂度追踪（MCP）算法能否被扩展以处理含噪声的线性测量，同时保持理论稳定性？
• RQ2 在MCP框架下，重构误差对噪声方差的依赖关系如何？
• RQ3 稳定恢复所需的测量数如何随信号的Kolmogorov复杂度变化？
• RQ4 MCP是否是一种无需事先知晓信号具体结构的通用恢复方法？
• RQ5 能否利用集中测度和高斯尾部界等概率与信息论工具证明MCP的稳定性？

主要发现

• 所提出的含噪声MCP算法具有稳定性：重构误差的$\ell_2$-范数被有界于噪声标准差$\sigma$的常数倍以内。
• 重构误差呈$O(\sigma)$量级，表明小噪声导致小误差，确认了在噪声下的稳定性。
• 稳定恢复所需的测量数为$O(\kappa \log n)$，其中$\kappa$为Kolmogorov信息维数，显著低于环境维数$n$。
• 在假设测量矩阵具有i.i.d.高斯元素的前提下，该稳定性界以高概率在随机测量矩阵上成立。
• 理论保证基于集中测度和高斯向量的性质，特别是内积分布的性质推导得出。
• 结果将MCP的普适性扩展至含噪声场景，表明即使在测量受噪声污染时，复杂度最小化依然有效。