[논문 리뷰] Low-rank Matrix Recovery from Errors and Erasures

Yudong Chen, Ali Jalali외 2명|arXiv (Cornell University)|2011. 04. 03.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 16

한 줄 요약

이 논문은 핵심 노름과 $\gamma$-가중 $\cdot_1$-노름 최소화를 이용하여 손상되고 부분적으로 관측된 행렬에서 낮은 질량 행렬과 희박한 오차 행렬을 동시에 복원하는 볼록 최적화 프레임워크를 제안한다. 무작위 및 결정론적 삭제와 오차가 동시에 존재하는 상황에서 정확한 복원을 위한 최초의 통합 성능 보장을 수립하며, 행렬 크기 $n$이 증가함에 따라 관측된 항목 수가 $\Theta(n\textrm{polylog}(n))$로 줄어들더라도 정확한 복원이 가능하다는 것을 보여준다.

ABSTRACT

This paper considers the recovery of a low-rank matrix from an observed version that simultaneously contains both (a) erasures: most entries are not observed, and (b) errors: values at a constant fraction of (unknown) locations are arbitrarily corrupted. We provide a new unified performance guarantee on when the natural convex relaxation of minimizing rank plus support succeeds in exact recovery. Our result allows for the simultaneous presence of random and deterministic components in both the error and erasure patterns. On the one hand, corollaries obtained by specializing this one single result in different ways recover (up to poly-log factors) all the existing works in matrix completion, and sparse and low-rank matrix recovery. On the other hand, our results also provide the first guarantees for (a) recovery when we observe a vanishing fraction of entries of a corrupted matrix, and (b) deterministic matrix completion.

연구 동기 및 목표

• 표준 SVD 및 행렬 완성 방법이 처리하지 못하는, 항목이 누락된(삭제됨) 상태이면서도 일정 비율이 임의로 손상된(오차 있음) 낮은 질량 행렬을 복원하는 문제에 대응하기 위해.
• 무작위 및 결정론적 패턴의 삭제 및 오차가 혼합된 상황에서, 낮은 질량 행렬의 구조를 위한 핵심 노름 최소화와 오차의 희박성에 대한 $\ell_1$-노름 최소화를 동시에 고려한 볼록 근사의 통합 성능 보장을 제공하기 위해.
• 매트릭스 크기 $n$이 증가함에 따라 관측 항목의 비율이 점점 줄어들어도 정확한 복원이 가능한 최초의 이론적 보장을 수립하기 위해.
• 오차 없이 오직 삭제만 존재하는 낮은 질량 행렬 완성 문제에 대해 최초의 결정론적 보장을 도출하고, 이전의 최악의 경우 경계를 향상시키기 위해.

제안 방법

• 관측된 항목에 대한 사영 연산자 $\mathcal{P}_\Phi$를 사용하여 $\mathcal{P}_\Phi(A + B) = \mathcal{P}_\Phi(C)$를 만족하는 볼록 최적화 프로그램을 사용한다. 이 프로그램은 $\gamma\|A\|_1 + \|B\|_*$를 최소화한다.
• 낮은 질량 행렬의 질량을 나타내는 볼록 근사로 핵심 노름 $\|B\|_*$를 사용하고, 오차 행렬의 희박성을 나타내는 볼록 근사로 $\ell_1$-노름 $\|A\|_1$를 사용한다.
• 낮은 질량 행렬의 접선 공간 $\mathcal{T}$와 오차 행렬의 지지 집합 $\Gamma$를 이용하여 이중 증명을 구성함으로써 정확한 복원을 검증한다.
• 낮은 질량 행렬과 희박 행렬에 대한 비일관성 가정을 도입하여 특이 벡터와 오차 위치의 정렬을 제어한다.
• 이중 증명의 사영 연산자 노름을 접선 공간에 제한하고 오차 지지 집합에서의 무한대 노름을 제어함으로써 $\gamma$에 대한 조건을 도출한다.
• 핵심적인 тех닉적 혁신은 오차 및 삭제 패턴의 무작위 및 결정론적 성분을 동시에 다룰 수 있는 통합 분석을 제공하여, 하나의 정리로 이전 결과들을 복원하고 확장할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 관측 항목의 비율이 $n$이 증가함에 따라 점점 줄어들더라도, 삭제와 오차가 동시에 존재하는 상황에서 볼록 근사가 낮은 질량 행렬을 정확히 복원할 수 있는가?
• RQ2 오차 및 삭제 패턴이 무작위인지 결정론적인지에 따라, 핵심 노름과 $\ell_1$-노름 최소화를 통한 정확한 복원을 보장하는 조건은 무엇인가?
• RQ3 제안된 방법이 오직 삭제만 존재하는 낮은 질량 행렬 완성 문제에 대해 최초의 결정론적 보장을 제공할 수 있는가?
• RQ4 오차 비율이 일정하고 관측 확률이 감소할 때, 행렬 크기 $n$이 증가함에 따라 방법의 성능은 어떻게 변화하는가?
• RQ5 오차 패턴이 블록 형태로 집중되어 있더라도, 정해진 비율의 적대적(결정론적) 손상에 대해 방법이 내성적으로 견딜 수 있는가?

주요 결과

• 관측 항목 수가 $\Theta(n\textrm{polylog}(n))$일 때, 즉 관측 항목 수가 적어도 이 정도이면, 조건부로 일부 항목이 손상된 경우에도 높은 확률로 정확한 복원을 달성한다.
• 이 방법은 기존의 행렬 완성, 희박 복원, 낮은 질량 복원 분야의 모든 결과를 대략 로그 인자 수준까지 통합하여 복원하고 개선하는 최초의 통합 성능 보장을 제공한다.
• 관측 확률이 점점 줄어드는 경우, $\gamma$가 $\frac{1}{1-2\alpha}\sqrt{\frac{\mu r}{n_1n_2}} < \gamma < \frac{1-\alpha}{\eta d} - \sqrt{\frac{\mu r}{n_1n_2}}$ 를 만족할 경우 정확한 복원이 보장된다. 여기서 $\alpha$는 결정론적 항목 비율을 제어한다.
• 관측 항목의 거의 전부가 손상된 경우에도, 오차의 부호가 대칭이고 관측 확률이 $n$에 대해 느리게 감소한다면 정확한 복원이 가능하다.
• 결정론적 삭제 및 오차가 존재하는 경우, 이 방법은 낮은 질량 행렬 완성에 대해 최초의 결정론적 보장을 제공하며, 이전의 최악의 경우 경계보다 주요 차원을 개선한다.
• 시뮬레이션 결과는 이론적 단계 전이를 확인한다: 성공을 위한 필요 관측 확률 $p_0$는 $n$이 증가함에 따라 감소하고, 내성 가능한 오차 확률 $\tau$는 $n$이 증가함에 따라 증가하며, 최대 결정론적 노이즈 블록 크기 $d$는 $n$에 대해 선형적으로 증가한다.