[논문 리뷰] Rank-Sparsity Incoherence for Matrix Decomposition

Venkat Chandrasekaran, Sujay Sanghavi외 2명|2009. 06. 11.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 91

한 줄 요약

이 논문은 ℓ₁ 노름과 노이먼 노름의 조합을 최소화하여 행렬을 희소성과 낮은 질서 성분으로 분해하는 볼록 최적화 방법을 제안한다. 행렬의 희소 패턴과 행/열 공간 간의 질서-희소성 비일관성 개념을 도입하여, 희소성과 질서 간의 불확실성 원리로 간주하고, 정확한 복원을 위한 결정론적 충분 조건을 수립하며, 랜덤 행렬 집합에 대해 높은 확률로 복원 가능함을 보여준다.

ABSTRACT

Suppose we are given a matrix that is formed by adding an unknown sparse matrix to an unknown low-rank matrix. Our goal is to decompose the given matrix into its sparse and low-rank components. Such a problem arises in a number of applications in model and system identification, and is NP-hard in general. In this paper we consider a convex optimization formulation to splitting the specified matrix into its components, by minimizing a linear combination of the $\ell_1$ norm and the nuclear norm of the components. We develop a notion of \emph{rank-sparsity incoherence}, expressed as an uncertainty principle between the sparsity pattern of a matrix and its row and column spaces, and use it to characterize both fundamental identifiability as well as (deterministic) sufficient conditions for exact recovery. Our analysis is geometric in nature, with the tangent spaces to the algebraic varieties of sparse and low-rank matrices playing a prominent role. When the sparse and low-rank matrices are drawn from certain natural random ensembles, we show that the sufficient conditions for exact recovery are satisfied with high probability. We conclude with simulation results on synthetic matrix decomposition problems.

연구 동기 및 목표

• 희소성 패턴이나 질서에 대한 사전 정보가 없을 때, 행렬을 그 희소성과 낮은 질서 성분으로 분해하는 데 있어 근본적인 과제를 해결하기 위해.
• 식별 가능성 보장을 위해, 분해 문제의 애매성 문제를 해결하기 위해 기하학적 조건인 질서-희소성 비일관성 조건을 도입하기 위해.
• 볼록 완화를 통해 희소성 및 낮은 질서 성분의 정확한 복원을 보장하는 결정론적 충분 조건을 제공하기 위해.
• 희소성 및 낮은 질서 성분이 자연스러운 랜덤 집합에서 추출될 경우, 제안된 조건이 높은 확률로 만족됨을 보여주어 신뢰할 수 있는 복원을 가능하게 하기 위해.

제안 방법

• 희소 성분의 ℓ₁ 노름과 낮은 질서 성분의 노이먼 노름의 가중합을 최소화하는 볼록 최적화 문제로 행렬 분해 문제를 수식화한다.
• 희소성 패턴과 행/열 공간 간의 불확실성 원리로 간주하는 질서-희소성 비일관성 조건을 도입한다.
• 낮은 질서 행렬의 대수적 다양체의 탄젠트 공간을 정의하고, 이를 통해 복원 문제의 기하학적 특성을 기술한다.
• 낮은 질서 행렬 M의 탄젠트 공간에 속한 단위 노름 원소들의 최대 ∞-노름인 ξ(M)을 사용하여, 행렬의 구조가 얼마나 퍼져 있거나 집중되어 있는지를 정량화한다.
• 희소 행렬 A에 대해 행과 열에 걸쳐 비제로 원소의 집중도를 제어하기 위해 deg_max(A) 및 deg_min(A)를 정의한다.
• 정수형 프로그래밍을 활용하여 볼록 완화 문제를 해결하고, 원래의 희소성 및 낮은 질서 성분이 유일하게 복원되는 조건을 유도한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 행렬이 희소성 성분과 낮은 질서 성분으로 유일하게 분해될 수 있는가?
• RQ2 식별 가능성을 보장하기 위해, 행렬의 희소성 패턴과 그 행/열 공간 간의 기하학적 관계를 어떻게 기술할 수 있는가?
• RQ3 볼록 완화를 통해 희소성 및 낮은 질서 성분의 정확한 복원을 보장하는 결정론적 조건는 무엇인가?
• RQ4 희소성 및 낮은 질서 성분이 자연스러운 랜덤 집합에서 추출될 경우, 정확한 복원이 얼마나 가능성 있는가?
• RQ5 낮은 질서 행렬의 대수적 다양체의 탄젠트 공간이 복원 가능성 판단에 어떤 역할을 하는가?

주요 결과

• 논문은 낮은 질서 행렬 B가 ξ(B) ≤ 2 inc(B)를 만족할 경우, 탄젠트 공간의 원소들이 너무 희소하지 않음을 보여주어 식별 가능성 문제를 방지함을 밝혔다. 여기서 inc(B)는 행렬 B의 행 및 열 공간이 표준 기저와 얼마나 정렬되어 있는지를 측정한다.
• 정확한 복원을 위한 충분 조건는 질서-희소성 비일관성 측도를 포함하며, 이는 희소성 및 낮은 질서 성분이 서로를 구별할 수 없게 정렬되어 있지 않음을 보장한다.
• 자연스러운 랜덤 집합에서 추출된 랜덤 행렬의 경우, 정확한 복원을 위한 충분 조건가 높은 확률로 만족되며, 특히 행렬 차원 대비 질서 및 희소성 수준이 너무 크지 않을 경우에 특히 그렇다.
• 희소 행렬 A의 deg_max(A)는 λ의 두 배 이상으로 하한이 존재하며, 여기서 λ는 A의 비제로 원소로 구성된 행렬의 최대 특이값이다. 이는 희소성 집중도와 복원 가능성 간의 연관성을 연결한다.
• 단위 행렬에 대한 최적화를 통해 정의된 μ(A)는 μ(A) ≤ deg_max(A) 및 μ(A) ≥ deg_min(A)를 만족하며, 이는 A의 희소성 집중도에 대한 경계를 제공한다.
• 논문은 ξ(B) ≤ 2 inc(B) 및 ξ(B) ≥ max(β(U), β(V))를 증명하였으며, 여기서 β(U) 및 β(V)는 B의 행 및 열 공간이 표준 기저 벡터와 얼마나 정렬되어 있는지를 측정하는 척도이다. 이는 비일관성 측도에 대한 날카운 경계를 제공한다.