[논문 리뷰] Compressed sensing of low-rank plus sparse matrices

Jared Tanner, Simon Vary|arXiv (Cornell University)|2020. 07. 18.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 낮은 질서와 희소 성분의 합인 행렬의 압축 감지에 이론적 보장을 수립하며, 이러한 행렬이 $\mathcal{O}(r(m+n-r) + s)\log(mn/s)$개의 선형 측정값을 통해 볼록 및 비볼록 알고리즘을 이용해 안정적으로 복원될 수 있음을 보여준다. 주요 기여는 비일관성 조건 하에서 제한된 이sovolumetric 상수(RIC)의 유계성을 입증함으로써, 渐近적으로 최적의 오염 내성과 함께 증명 가능한 복원을 가능하게 한다.

ABSTRACT

Expressing a matrix as the sum of a low-rank matrix plus a sparse matrix is a flexible model capturing global and local features in data popularized as Robust PCA (Candes et al., 2011; Chandrasekaran et al., 2009). Compressed sensing, matrix completion, and their variants (Eldar and Kutyniok, 2012; Foucart and Rauhut, 2013) have established that data satisfying low complexity models can be efficiently measured and recovered from a number of measurements proportional to the model complexity rather than the ambient dimension. This manuscript develops similar guarantees showing that $m imes n$ matrices that can be expressed as the sum of a rank-$r$ matrix and a $s$-sparse matrix can be recovered by computationally tractable methods from $\mathcal{O}(r(m+n-r)+s)\log(mn/s)$ linear measurements. More specifically, we establish that the low-rank plus sparse matrix set is closed provided the incoherence of the low-rank component is upper bounded as $μ

연구 동기 및 목표

• 강력한 PCA와 동적 장면 분리에 핵심적인 모델인 낮은 질서와 희소 성분의 합인 행렬에 대한 압축 감지 이론을 확장한다.
• 정수형 프로그래밍과 비볼록 임계값 알고리즘과 같은 계산적으로 타당한 방법을 사용하여 이러한 행렬의 이론적 복원 보장을 수립한다.
• 이전의 복원 보장에서 요구하던 희소 성분의 지지 집합에 대한 제한적인 가정(예: 균일한 행/열 분포)을 제거한다.
• 낮은 질서 성분의 비일관성에 따라 문제 크기와 무관하게 측정 연산자의 제한된 이sovolumetric 상수(RICs)가 유계로 유지됨을 보여준다.
• 동적 영상 분리 및 다중스펙트럼 영상과 같은 실용적 응용에서 향상된 복원 성능을 보여준다.

제안 방법

• 낮은 질서 성분의 특이벡터에 대한 비일관성 조건을 포함한 낮은 질서 + 희소 행렬의 집합 $\operatorname{LS}_{m,n}(r,s,\mu)$를 도입하며, 이 집합이 $\mu < \sqrt{mn}/(r\sqrt{s})$ 조건 하에서 닫혀 있음을 보장한다.
• 측정 수가 $\mathcal{O}(r(m+n-r) + s)\log(mn/s)$ 비례할 경우, 가우시안 및 빠른 조너슨-린든스트라우스 변환(FJLT) 측정값에 대해 제한된 이sovolumetric 상수(RICs)가 유계임을 증명한다.
• 정수형 프로그래밍과 두 개의 비볼록 알고리즘(NIHT 및 NAHT)이 RICs가 충분히 작을 경우 진짜 행렬로 수렴함을 보여준다.
• 측정의 집중 불등식을 사용하여 랜덤 측정 연산자에 대한 RICs를 유계로 제한함으로써 다양한 샘플링 체계로의 일반화를 가능하게 한다.
• 낮은 질서 성분과 희소 성분 간의 상관관계를 비일관성 파라미터 $\mu$를 통해 제어하는 새로운 분석 프레임워크를 활용한다.
• 합성 데이터, 동적 영상의 전경/배경 분리, 항공 다중스펙트럼 영상에 대한 수치 실험을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 낮은 질서 + 희소 행렬은 환경 차원이 아닌 자유도에 비례하는 측정 수로 안정적으로 복원될 수 있는가?
• RQ2 낮은 질서 성분의 비일관성 조건이 무엇이어야 낮은 질서 + 희소 행렬의 집합이 닫혀 있고 RICs가 여전히 유계로 유지되는가?
• RQ3 비볼록 알고리즘인 NIHT 및 NAHT가 볼록 방법과 동일한 측정 체제 하에서 이러한 행렬을 증명적으로 복원할 수 있는가?
• RQ4 제안된 프레임워크는 균일한 행/열 분포를 요구하지 않으며, 강력한 PCA에서 渐近적으로 최적의 오염 내성($\alpha = \mathcal{O}(1/(\mu r))$)을 달성하는가?
• RQ5 실세계 영상 응용에서 낮은 질서 + 희소 모델의 복원 성능은 낮은 질서 전용 모델보다 어떻게 비교되는가?

주요 결과

• 측정 수가 $\mathcal{O}(r(m+n-r) + s)\log(mn/s)$ 비례할 경우, RICs가 충분히 작을 때, $\mu < \sqrt{mn}/(r\sqrt{s})$ 조건 하에서 집합 $\operatorname{LS}_{m,n}(r,s,\mu)$는 닫혀 있으며, 이는 RICs의 이론적 분석을 가능하게 한다.
• 가우시안 및 FJLT 측정 연산자에 대해 제한된 이sovolumetric 상수(RICs)는 측정 수가 $\mathcal{O}(r(m+n-r) + s)\log(mn/s)$ 비례할 경우 유계로 유지된다.
• 정수형 프로그래밍과 비볼록 알고리즘(NIHT, NAHT)은 RICs가 충분히 작을 경우 낮은 질서 + 희소 행렬을 증명적으로 복원한다.
• 이 프레임워크는 강력한 PCA에서 $\alpha = \mathcal{O}(1/(\mu r))$의 渐近적으로 최적의 오염 내성을 달성하며, 이는 이전 연구에서 지지 집합 분포에 대한 가정을 제거함으로써 향상된 성능이다.
• 다중스펙트럼 영상에서 낮은 질서 + 희소 모델은 낮은 질서 전용 모델 대비 PSNR 39.1 dB를 기록하며 局부 이미지 세부 정보에서 눈에 띄는 향상이 있다.
• 동적 영상 분리에서, 이 방법은 전체 영상 샘플링에 비해 측정 수를 약 1/3으로 줄여도 움직이는 물체를 유사한 정확도로 복원한다.