[논문 리뷰] Near Optimal Compressed Sensing of a Class of Sparse Low-Rank Matrices via Sparse Power Factorization

Kiryung Lee, Yihong Wu외 1명|arXiv (Cornell University)|2013. 12. 02.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 압축 선형 측정에서 희소 낮은 질서 행렬을 거의 최적의 복원을 위해 Sparse Power Factorization (SPF) 및 그 확장인 Subspace-Concatenated SPF (SCSPF)를 제안한다. 질서 1 및 일반 낮은 질서 행렬의 희소 요인에 대한 교대 최소화를 활용함으로써, SPF는 정보 이론적 한계의 로그 인자 범위 내에서 측정 수가 매우 적은 경우에도 안정적인 복원을 달성하며, 이는 이론 및 실무에서 모두 볼록 리파라미터화 방법보다 뛰어나다.

ABSTRACT

Compressed sensing of simultaneously sparse and low-rank matrices enables recovery of sparse signals from a few linear measurements of their bilinear form. One important question is how many measurements are needed for a stable reconstruction in the presence of measurement noise. Unlike conventional compressed sensing for sparse vectors, where convex relaxation via the $\\ell_1$-norm achieves near optimal performance, for compressed sensing of sparse low-rank matrices, it has been shown recently Oymak et al. that convex programmings using the nuclear norm and the mixed norm are highly suboptimal even in the noise-free scenario. We propose an alternating minimization algorithm called sparse power factorization (SPF) for compressed sensing of sparse rank-one matrices. For a class of signals whose sparse representation coefficients are fast-decaying, SPF achieves stable recovery of the rank-1 matrix formed by their outer product and requires number of measurements within a logarithmic factor of the information-theoretic fundamental limit. For the recovery of general sparse low-rank matrices, we propose subspace-concatenated SPF (SCSPF), which has analogous near optimal performance guarantees to SPF in the rank-1 case. Numerical results show that SPF and SCSPF empirically outperform convex programmings using the best known combinations of mixed norm and nuclear norm.

연구 동기 및 목표

• 압축 선형 측정에서 동시에 희소적이고 낮은 질서인 행렬의 안정적이고 효율적인 복원 문제를 다루기 위해.
• 희소 낮은 질서 행렬 복원에서 노이즈 존재 시 볼록 리파라미터화 방법(예: 핵 노름 및 혼합 노름)의 비최적성 문제를 해결하기 위해.
• 정보 이론적 한계에 가까운 측정 수를 요구하는 안정적 복원을 위한 계산 효율적인 알고리즘을 개발하기 위해.
• 희소 요인에 대응하는 부분공간을 연결하여, 질서 1에서 일반 낮은 질서 행렬로의 이론적 성능 보장을 확장하기 위해.

제안 방법

• 압축 측정에서 질서 1 행렬의 희소 왼쪽 및 오른쪽 요인을 반복적으로 추정하는 교대 최소화 알고리즘인 Sparse Power Factorization (SPF)를 도입한다.
• 핵 노름 최소화와 같은 볼록 프로그래밍에서 기인하는 리파라미터화 갭을 피하기 위해 비볼록 최적화 프레임워크를 사용한다.
• 왼쪽 또는 오른쪽 요인이 행 희소인 질서 1 행렬 분해 모델을 사용하여 효율적인 희소 표현 복원을 가능하게 한다.
• 희소 요인에 대응하는 부분공간을 연결하고 SPF 유사 업데이트를 적용함으로써 일반 낮은 질서 행렬을 위한 확장인 SCSPF를 제안한다.
• 측정 연산자의 제한된 이소메트릭 성질(RIP) 조건에 의존하며, 특히 두 요인의 병합된 희소성에 대해 이중 희소 RIP를 적용한다.
• 비헤르미트리안 sinθ 정리를 적용하여 부분공간 간 주요 각도를 바ounds하여 분해 과정의 오차 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비볼록 알고리즘이 희소 낮은 질서 행렬 복원에 대해 거의 최적의 측정 복잡도를 달성할 수 있는가?
• RQ2 노이즈 환경에서 SPF의 성능은 핵 노름 및 혼합 노름 최소화와 같은 볼록 리파라미터화 방법과 비교해 어떻게 되는가?
• RQ3 희소 낮은 질서 행렬의 안정적 복원을 위한 최소 측정 수는 얼마이며, 실용적인 알고리즘이 이를 접근할 수 있는가?
• RQ4 질서 1 행렬에 대한 SPF의 성능 보장을 일반 낮은 질서 행렬로 확장할 수 있는가?
• RQ5 특이 벡터의 희소성 구조가 최소 측정 수로 안정적 복원을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• SPF는 정보 이론적 하한의 로그 인자 범위 내에서 측정 수를 사용하여 질서 1 희소 낮은 질서 행렬의 안정적 복원을 달성한다.
• 일반 희소 낮은 질서 행렬의 경우, SCSPF는 질서 1의 경우와 유사한 거의 최적의 성능 보장을 달성한다.
• 수치 결과는 SPF 및 SCSPF가 핵 노름과 혼합 노름의 최고 성능 조합을 사용한 볼록 프로그램보다 경험적으로 뛰어나게 성능을 발휘함을 보여준다.
• 이론적 분석은 정규화된 복원 오차가 측정의 노이즈 대 신호 비율의 상수 배수로 제한됨을 보여주며, 원하는 안정성 기준을 충족한다.
• 알고리즘의 성능은 노이즈에 대해 강건하며, 비헤르미트리안 sinθ 정리 및 측정 연산자의 RIP 기반 분석을 통해 유도된 오차 한계를 갖는다.
• 이중 역행 문제의 척도 모호성을 직접 낮은 질서 해를 분해함으로써 효과적으로 처리하며, 추가 정규화가 필요하지 않다.