[论文解读] Near Optimal Compressed Sensing of a Class of Sparse Low-Rank Matrices via Sparse Power Factorization

Kiryung Lee, Yihong Wu+1 more|arXiv (Cornell University)|Dec 2, 2013

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出稀疏幂因子分解（SPF）及其扩展——子空间拼接SPF（SCSPF），用于从压缩线性测量中近乎最优地恢复稀疏低秩矩阵。通过在秩-1和一般低秩矩阵的稀疏因子上采用交替最小化方法，SPF在测量次数接近信息论极限的对数因子范围内实现了稳定重建，其理论与实践表现均优于凸松弛方法。

ABSTRACT

Compressed sensing of simultaneously sparse and low-rank matrices enables recovery of sparse signals from a few linear measurements of their bilinear form. One important question is how many measurements are needed for a stable reconstruction in the presence of measurement noise. Unlike conventional compressed sensing for sparse vectors, where convex relaxation via the $\\ell_1$-norm achieves near optimal performance, for compressed sensing of sparse low-rank matrices, it has been shown recently Oymak et al. that convex programmings using the nuclear norm and the mixed norm are highly suboptimal even in the noise-free scenario. We propose an alternating minimization algorithm called sparse power factorization (SPF) for compressed sensing of sparse rank-one matrices. For a class of signals whose sparse representation coefficients are fast-decaying, SPF achieves stable recovery of the rank-1 matrix formed by their outer product and requires number of measurements within a logarithmic factor of the information-theoretic fundamental limit. For the recovery of general sparse low-rank matrices, we propose subspace-concatenated SPF (SCSPF), which has analogous near optimal performance guarantees to SPF in the rank-1 case. Numerical results show that SPF and SCSPF empirically outperform convex programmings using the best known combinations of mixed norm and nuclear norm.

研究动机与目标

• 解决从压缩线性测量中稳定且高效恢复同时具有稀疏性与低秩性的矩阵的挑战。
• 克服在存在噪声时，凸松弛方法（如核范数和混合范数）在稀疏低秩矩阵恢复中次优的问题。
• 开发一种计算高效的算法，逼近稳定重建所需的测量数的信息论极限。
• 通过子空间拼接方法，将SPF的理论性能保证从秩-1矩阵推广至一般低秩矩阵。

提出的方法

• 提出稀疏幂因子分解（SPF），一种交替最小化算法，通过压缩测量迭代估计秩-1矩阵的稀疏左因子与右因子。
• 采用非凸优化框架，避免核范数最小化等凸规划中固有的松弛间隙。
• 使用秩-1矩阵因子分解模型，其中左因子或右因子为行稀疏，从而实现高效的稀疏表示恢复。
• 提出SCSPF作为一般低秩矩阵的扩展方法，通过拼接对应于稀疏因子的子空间，并应用类似SPF的更新策略。
• 依赖测量算子的限制等距性质（RIP）条件，特别是针对两个因子中联合稀疏性的双重稀疏RIP。
• 应用非厄米正弦定理以界定子空间之间的主角，从而实现对因子分解过程的误差分析。

实验结果

研究问题

• RQ1 非凸算法能否在恢复稀疏低秩矩阵时实现接近最优的测量复杂度？
• RQ2 在噪声环境下，SPF与核范数和混合范数最小化等凸松弛方法相比性能如何？
• RQ3 稳定恢复稀疏低秩矩阵所需的最小测量数是多少？能否由实际算法逼近该值？
• RQ4 SPF在秩-1矩阵上的性能保证能否推广至一般低秩矩阵？
• RQ5 奇异向量的稀疏结构在实现以最小测量数稳定恢复中起到何种作用？

主要发现

• SPF在测量数接近信息论下限的对数因子范围内，实现了对秩-1稀疏低秩矩阵的稳定恢复。
• 对于一般稀疏低秩矩阵，SCSPF在性能保证方面与秩-1情况下SPF的表现相当，达到近似最优。
• 数值结果表明，SPF与SCSPF在实际中均优于使用最优核范数与混合范数组合的凸程序。
• 理论分析表明，归一化重建误差被有界为测量中信噪比的常数倍，满足所需的稳定性准则。
• 该算法在噪声下表现稳健，误差界通过非厄米正弦定理及基于RIP的测量算子分析推导得出。
• 该方法通过直接分解低秩解，有效处理双线性逆问题中的尺度模糊性，无需额外归一化。