[论文解读] Rank-Sparsity Incoherence for Matrix Decomposition

Venkat Chandrasekaran, Sujay Sanghavi+2 more|Jun 11, 2009

Sparse and Compressive Sensing Techniques参考文献 27被引用 91

一句话总结

本文提出一种凸优化方法，通过最小化 ℓ₁ 范数与核范数的组合，将矩阵分解为稀疏分量和低秩分量。引入了秩-稀疏性不一致性概念，作为稀疏模式与行/列空间之间的一种不确定性原理，建立了精确恢复的确定性充分条件，并展示了在随机矩阵集合下高概率恢复的结果。

ABSTRACT

Suppose we are given a matrix that is formed by adding an unknown sparse matrix to an unknown low-rank matrix. Our goal is to decompose the given matrix into its sparse and low-rank components. Such a problem arises in a number of applications in model and system identification, and is NP-hard in general. In this paper we consider a convex optimization formulation to splitting the specified matrix into its components, by minimizing a linear combination of the $\ell_1$ norm and the nuclear norm of the components. We develop a notion of \emph{rank-sparsity incoherence}, expressed as an uncertainty principle between the sparsity pattern of a matrix and its row and column spaces, and use it to characterize both fundamental identifiability as well as (deterministic) sufficient conditions for exact recovery. Our analysis is geometric in nature, with the tangent spaces to the algebraic varieties of sparse and low-rank matrices playing a prominent role. When the sparse and low-rank matrices are drawn from certain natural random ensembles, we show that the sufficient conditions for exact recovery are satisfied with high probability. We conclude with simulation results on synthetic matrix decomposition problems.

研究动机与目标

• 解决在缺乏关于稀疏模式或秩的先验信息时，将矩阵分解为其稀疏分量和低秩分量的根本挑战。
• 通过引入几何条件——秩-稀疏性不一致性——克服分解问题的不适定性，确保可识别性。
• 通过凸松弛方法，提供稀疏分量和低秩分量精确恢复的确定性充分条件。
• 表明在随机矩阵集合下，所提出的条件以高概率满足，从而实现可靠的恢复。

提出的方法

• 将矩阵分解问题表述为凸优化问题，通过最小化稀疏分量的 ℓ₁ 范数与低秩分量的核范数的加权和。
• 将秩-稀疏性不一致性条件引入为稀疏模式与矩阵行/列空间之间的不确定性原理。
• 定义低秩矩阵代数簇的切空间，并利用其刻画恢复问题的几何特性。
• 使用量 ξ(M)，即低秩矩阵 M 的切空间中单位范数元素的最大 ∞-范数，量化矩阵结构的弥散或集中程度。
• 为稀疏矩阵 A 定义度量 deg_max(A) 和 deg_min(A)，以控制其非零元素在行和列上的集中程度。
• 采用半定规划求解凸松弛问题，并推导出原始稀疏分量和低秩分量被唯一恢复的条件。

实验结果

研究问题

• RQ1 在何种条件下，矩阵可被唯一分解为稀疏分量和低秩分量？
• RQ2 如何表征矩阵稀疏模式与行/列空间之间的几何关系，以确保可识别性？
• RQ3 通过凸松弛方法，哪些确定性条件可保证稀疏分量和低秩分量的精确恢复？
• RQ4 当稀疏分量和低秩分量来自自然随机集合时，精确恢复的可能性有多大？
• RQ5 低秩矩阵代数簇的切空间在确定恢复可行性方面起什么作用？

主要发现

• 本文证明，若低秩矩阵 B 满足 ξ(B) ≤ 2 inc(B)，其中 inc(B) 衡量其行空间和列空间与标准基的对齐程度，则切空间元素不会过于稀疏，从而避免可识别性问题。
• 精确恢复的充分条件涉及秩-稀疏性不一致性度量，确保稀疏分量与低秩分量不会以使二者难以区分的方式对齐。
• 对于来自自然随机集合的随机矩阵，精确恢复的充分条件以高概率满足，尤其当秩和稀疏性水平相对于矩阵维度不太大时。
• 稀疏矩阵 A 的度量 deg_max(A) 下界为 2λ，其中 λ 是 A 的非零元素构成的矩阵的最大奇异值，从而将稀疏性集中度与恢复可行性联系起来。
• 通过单位矩阵上的优化定义的量 μ(A) 满足 μ(A) ≤ deg_max(A) 且 μ(A) ≥ deg_min(A)，为 A 的稀疏性集中度提供了上下界。
• 本文证明了 ξ(B) ≤ 2 inc(B) 且 ξ(B) ≥ max(β(U), β(V))，其中 β(U) 和 β(V) 分别为 B 的行空间和列空间与标准基向量的对齐程度度量，为不一致性度量提供了紧致界。