[论文解读] Compressive Principal Component Pursuit

John Wright, Arvind Ganesh+2 more|arXiv (Cornell University)|Feb 21, 2012

Sparse and Compressive Sensing Techniques参考文献 26被引用 20

一句话总结

该论文提出了一种压缩主成分追踪方法，旨在从少量随机线性测量中恢复低秩和稀疏矩阵分量。证明了当测量数超过固有自由度的多项对数因子时，可通过在测量约束下最小化核范数和$$\ell^1$$范数的凸优化框架实现精确恢复。

ABSTRACT

We consider the problem of recovering a target matrix that is a superposition of low-rank and sparse components, from a small set of linear measurements. This problem arises in compressed sensing of structured high-dimensional signals such as videos and hyperspectral images, as well as in the analysis of transformation invariant low-rank recovery. We analyze the performance of the natural convex heuristic for solving this problem, under the assumption that measurements are chosen uniformly at random. We prove that this heuristic exactly recovers low-rank and sparse terms, provided the number of observations exceeds the number of intrinsic degrees of freedom of the component signals by a polylogarithmic factor. Our analysis introduces several ideas that may be of independent interest for the more general problem of compressed sensing and decomposing superpositions of multiple structured signals.

研究动机与目标

• 解决从高度压缩的线性测量中恢复低秩和稀疏矩阵分量的问题。
• 将鲁棒主成分分析（RPCA）扩展到仅存在部分测量的压缩感知场景。
• 建立凸松弛化低秩与稀疏分解问题实现精确恢复的理论条件。
• 分析在随机测量集合下，压缩鲁棒矩阵恢复的自然凸优化启发式方法的性能。
• 为视频和高光谱图像等结构化信号的压缩感知提供理论基础。

提出的方法

• 将压缩鲁棒矩阵恢复问题表述为一个凸优化问题，通过在测量约束下最小化低秩分量的核范数和稀疏分量的$$\ell^1$$范数来求解。
• 使用一个与低秩分量和稀疏分量均高度非相干的随机测量子空间$Q$。
• 采用基于对偶的分析方法，构造一个由三部分组成的对偶证书：$\mathbf{W}^L$、$\mathbf{W}^S$ 和 $\mathbf{W}^T$，以确保解的最优性。
• 利用Neumann级数构造对偶变量$\mathbf{W}^S$，使其满足稀疏支撑上的约束，并与低秩分量的切空间正交。
• 利用Bernstein不等式和浓度不等式控制随机采样下对偶证书分量（特别是$\mathbf{W}^L$）的Frobenius范数。
• 通过证明当测量数超过固有自由度的多项对数因子时，对偶证书以高概率满足所需条件，从而建立恢复保证。

实验结果

研究问题

• RQ1 能否通过凸优化方法，从少量随机线性测量中精确恢复低秩和稀疏矩阵分量？
• RQ2 在压缩设置下，精确恢复低秩和稀疏分量所需的最少测量数是多少？
• RQ3 压缩主成分追踪的凸启发式方法的性能如何随分量的秩和稀疏度变化？
• RQ4 在何种条件下，对偶证书构造能够成功验证解的最优性？
• RQ5 在确保精确恢复的前提下，测量数可否显著低于矩阵维度？

主要发现

• 当测量数超过固有自由度的多项对数因子时，可保证精确恢复低秩和稀疏分量。
• 当测量集合与低秩和稀疏分量均高度非相干时，该恢复条件成立。
• 当秩$r$满足$r \leq c_r n / (\mu \log^2 m)$时，对偶证书构造以高概率成功，其中$c_r$为足够小的常数。
• 对偶证书$\mathbf{W}^L$的Frobenius范数被限制在$3\sqrt{r}$以内，这确保了在推导条件下解的最优性。
• 当测量数低至矩阵元素数的一半时，只要秩和稀疏度足够小，该方法仍能实现精确恢复。
• 理论分析引入了随机矩阵理论和对偶性方面的新技术，可能适用于更广泛的结构化信号压缩感知问题。