[논문 리뷰] Nearly-optimal Robust Matrix Completion

Yeshwanth Cherapanamjeri, Kartik Gupta외 1명|arXiv (Cornell University)|2016. 06. 23.

Sparse and Compressive Sensing Techniques참고 문헌 9인용 수 20

한 줄 요약

이 논문은 낮은 질서 행렬 추정과 딱딱한 임계값 처리를 번갈아 수행하여 오염된 항목을 정리하는, 강건한 행렬 완성(Robust Matrix Completion, RMC)을 위한 투영 경사 하강법 알고리즘을 제안한다. 이는 거의 최적의 표본 복잡도 $O(rn\log n)$ 와 거의 최적의 오염 내성 $O(1/\mu^2 r)$ 를 달성하며, 거의 선형 시간 복잡도 $O(|\Omega|r + (m+n)r^2 + r^3)$ 를 보이며, 이는 이전의 볼록 리프레젠테이션 기반 방법들에 비해 크게 향상되었다.

ABSTRACT

In this paper, we consider the problem of Robust Matrix Completion (RMC) where the goal is to recover a low-rank matrix by observing a small number of its entries out of which a few can be arbitrarily corrupted. We propose a simple projected gradient descent method to estimate the low-rank matrix that alternately performs a projected gradient descent step and cleans up a few of the corrupted entries using hard-thresholding. Our algorithm solves RMC using nearly optimal number of observations as well as nearly optimal number of corruptions. Our result also implies significant improvement over the existing time complexity bounds for the low-rank matrix completion problem. Finally, an application of our result to the robust PCA problem (low-rank+sparse matrix separation) leads to nearly linear time (in matrix dimensions) algorithm for the same; existing state-of-the-art methods require quadratic time. Our empirical results corroborate our theoretical results and show that even for moderate sized problems, our method for robust PCA is an an order of magnitude faster than the existing methods.

연구 동기 및 목표

• 부분적으로 관측된 희박하게 오염된 항목들로부터 낮은 질서 행렬을 복원해야 하는 강건한 행렬 완성(RMC) 문제를 다루기 위해.
• 거의 최적의 표본 복잡도 $O(rn\log n)$ 와 거의 최적의 오염 비율 $O(1/\mu^2 r)$ 를 달성하여 정보 이론적 한계에 부합하기 위해.
• 기존의 볼록 리프레젠테이션 기반 방법들에 비해 시간 복잡도를 감소시키기 위해, 이는 $O(m^2n)$ 으로 척도가 증가한다.
• RMC 해법을 활용하여 더 빠른 강건한 주성분 분석(RPCA)을 가능하게 하여, 매트릭스 차원에 대해 거의 선형 시간을 달성하기 위해.
• 낮은 질서 및 희박한 집합 위에서 비볼록이고 번갈아가는 투영 경사 하강법에 대해 증명 가능한 수렴 보장을 제공하기 위해.

제안 방법

• 부분적으로 관측되고 오염된 항목들로부터 낮은 질서 행렬 $L^*$ 를 추정하기 위해 투영 경사 하강(PGD) 프레임워크를 사용한다.
• 낮은 질서 행렬에 대한 투영 경사 단계와 오염된 항목을 식별하고 수정하기 위한 딱딱한 임계값 처리 단계를 번갈아 수행한다.
• 비볼록 집합 위에 번갈아가며 투영한다: 질서-$r$ 행렬과 희박한 행렬을 사용하며, 볼록 리프레젠테이션을 피한다.
• 결측 항목과 희박한 오염이 복구 과정 중 상호작용하는 것을 고려한 새로운 오차 분석을 사용한다.
• 표본 모델에서 $\Omega$ 는 균일하게 무작위이며 $S^*$ 는 $\Omega$ 내에서 지지되며, 행/열당 약 $\rho = O(1/\mu^2 r)$ 의 오염 비율을 가진다.
• 조건 수 $\kappa$ 에 대해 로그적으로 의존하는 표본 복잡도와 실행 시간에 대한 이론적 경계를 유도하며, 이는 이전 방법들이 $\kappa$ 에 대해 제곱 또는 오차적으로 척도가 증가하는 것과는 달리, 이는 제곱 또는 오차적으로 증가하지 않는다.

실험 결과

연구 질문

• RQ1 행렬 완성 문제에서 $O(rn\log n)$ 관측치와 행/열당 $O(1/\mu^2 r)$ 의 오염 비율로 정확한 RMC가 가능할 수 있는가?
• RQ2 표본 복잡도와 오염 내성의 최적 수준을 유지하면서 RMC의 시간 복잡도를 매트릭스 차원에 대해 거의 선형으로 줄일 수 있는가?
• RQ3 표준 비균일성 가정 하에, 비볼록 투영 경사 하강법과 번갈아가는 딱딱한 임계값 처리가 RMC에 대해 증명 가능한 복원을 달성할 수 있는가?
• RQ4 볼록 리프레젠테이션 기반 접근법과 비교할 때, 제안된 방법은 표본 복잡도, 오염 내성, 실행 시간 측면에서 어떻게 다른가?
• RQ5 RMC 알고리즘을 활용하여 거의 선형 시간 복잡도의 강건한 주성분 분석(RPCA)을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 거의 최적의 표본 복잡도 $O(rn\log n)$ 를 달성하며, 정보 이론적 하한선에 로그 요소를 제외하고 일치한다.
• 행/열당 최대 $O(1/\mu^2 r)$ 의 오염된 항목을 내성할 수 있으며, 이는 정보 이론적으로 최적의 수준에 상수 요소를 제외하고 일치한다.
• 실행 시간은 $O(|\Omega|r + (m+n)r^2 + r^3)$ 이며, 이는 매트릭스 차원에 대해 거의 선형이며, 이전 볼록 방법의 $O(m^2n)$ 복잡도에 비해 크게 빠르다.
• 이 방법은 강건한 주성분 분석(RPCA)의 시간 복잡도를 거의 선형 시간으로 향상시켰으며, 현재 최고의 방법들은 제곱 시간이 필요로 한다.
• 실험 결과는 중간 크기의 문제들에서도 PG-RMC 알고리즘이 기존 RPCA 방법들보다 약 수십 배 빠르며, 낮은 표본 비율과 높은 오염 조건에서도 높은 복원 확률을 보였다.
• 알고리즘의 표본 복잡도는 최종 오차 $\epsilon$ 에 대해 로그적으로 의존하며, 실행 시간과 표본 복잡도는 조건 수 $\kappa$ 에 대해 다항로그적으로만 의존한다. 이는 이전 방법들이 $\kappa$ 에 대해 제곱 또는 오차적으로 척도가 증가하는 것과는 다르게, 이는 제곱 또는 오차적으로 증가하지 않는다.