[논문 리뷰] Fast Exact Matrix Completion with Finite Samples

Prateek Jain, Praneeth Netrapalli|arXiv (Cornell University)|2014. 11. 04.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 11

한 줄 요약

이 논문은 조건수와 정확도에 영향을 받지 않는 유한한 표본 수를 사용하여 정확한 낮은 질서 행렬 완성 문제를 해결하기 위한 빠른 반복 알고리즘인 Stagewise-SVP(St-SVP)를 제안한다. 이 알고리즘은 $O(nr^5ackepsilon^3n)$의 유한한 표본 수를 필요로 하며, $\epsilon$-독립적인 $\infty$-노름 잠재 함수와 확장된 Davis-Kahan 정리를 활용하여 근사 선형 $O(nr^7ackepsilon^3n\log 1/\epsilon)$의 실행 시간을 달성한다. 이는 조건수와 정확도에 독립적인 유한 표본 복잡도를 갖는 최초의 근사 선형 시간 정확한 행렬 완성 방법이다.

ABSTRACT

Matrix completion is the problem of recovering a low rank matrix by observing a small fraction of its entries. A series of recent works [KOM12,JNS13,HW14] have proposed fast non-convex optimization based iterative algorithms to solve this problem. However, the sample complexity in all these results is sub-optimal in its dependence on the rank, condition number and the desired accuracy. In this paper, we present a fast iterative algorithm that solves the matrix completion problem by observing $O(nr^5 \log^3 n)$ entries, which is independent of the condition number and the desired accuracy. The run time of our algorithm is $O(nr^7\log^3 n\log 1/ε)$ which is near linear in the dimension of the matrix. To the best of our knowledge, this is the first near linear time algorithm for exact matrix completion with finite sample complexity (i.e. independent of $ε$). Our algorithm is based on a well known projected gradient descent method, where the projection is onto the (non-convex) set of low rank matrices. There are two key ideas in our result: 1) our argument is based on a $\ell_{\infty}$ norm potential function (as opposed to the spectral norm) and provides a novel way to obtain perturbation bounds for it. 2) we prove and use a natural extension of the Davis-Kahan theorem to obtain perturbation bounds on the best low rank approximation of matrices with good eigen-gap. Both of these ideas may be of independent interest.

연구 동기 및 목표

• 기존 비볼록 반복 방법들이 조건수와 원하는 정확도에 의존하는 비최적의 표본 복잡도 문제를 해결하기 위해.
• 조건수 $\kappa$와 $\epsilon$에 독립적인 유한 표본 복잡도를 갖는 빠른 정확한 행렬 완성 알고리즘을 개발하기 위해.
• 행렬 차원에 대해 근사 선형 시간 복잡도를 확보하면서 정확한 복원을 보장하기 위해.
• 비볼록 낮은 질서 집합 위에서의 투영 경사 하강법에 대한 이론적 기반을 제공하기 위해, 새로운 편미분 분석을 활용하여.

제안 방법

• 단계별로 SVD를 통한 질서-$r$ 투영을 사용하는 반복 업데이트를 수행하는 투영 경사 하강법인 Stagewise-SVP(St-SVP)를 제안한다.
• 편미분 경계를 유도하기 위해 기존의 스펙트럴 노름 분석을 대체하는 새로운 $\ell_\infty$-노름 잠재 함수를 사용한다.
• 좋은 고유값 간격 하에서 낮은 질서 근사의 편미분을 제한하기 위해 Davis-Kahan 정리의 자연스러운 확장 도입.
• 반복 계산에서의 의존성 문제를 피하기 위해 단계별 표본 추출 전략을 사용하여 유한 표본 정확한 복원 가능.
• 그래프 구조 위에서의 랜덤 워크에 대한 $k$-번째 모멘트 경계와 마르코프 부등식을 활용해 수렴 분석 수행.
• 표본 복잡도 $O(nr^5\log^3n)$과 실행 시간 $O(nr^7\log^3n\log 1/\epsilon)$을 확립하며, 둘 다 $n$에 대해 근사 선형이다.

실험 결과

연구 질문

• RQ1 비볼록 반복 알고리즘이 조건수와 정확도에 영향을 받지 않는 유한 표본 복잡도로 정확한 행렬 완성을 달성할 수 있는가?
• RQ2 비볼록 낮은 질서 행렬 위에서의 투영 경사 하강법이 정확한 복원 보장을 갖는 근사 선형 시간 복잡도를 달성할 수 있는가?
• RQ3 $\ell_\infty$-노름 잠재 함수가 스펙트럴 노름 분석보다 낮은 질서 행렬 복원에서 더 날카우며 분석 가능성이 높은 편미분 경계를 제공할 수 있는가?
• RQ4 확장된 Davis-Kahan 정리는 비볼록 설정에서 고유값 간격 하에서 낮은 질서 근사 오차 분석에 개선을 가져올 수 있는가?
• RQ5 반복 계산의 의존성을 피하면서도 유한 표본 수렴을 보장할 수 있는 단계별 표본 추출 전략을 설계할 수 있는가?

주요 결과

• 제안된 St-SVP 알고리즘은 조건수와 원하는 정확도 $\epsilon$에 영향을 받지 않고 $O(nr^5\log^3n)$개의 관측된 원소를 사용하여 정확한 행렬 완성을 달성한다.
• 알고리즘은 $O(nr^7\log^3n\log 1/\epsilon)$의 시간으로 실행되며, 이는 행렬 차원 $n$에 대해 근사 선형이므로 대규모 문제에 대해 확장 가능하다.
• $\ell_\infty$-노름 잠재 함수의 사용은 스펙트럴 노름 기반 분석보다 더 날카우며 더 견고한 편미분 경계를 가능하게 한다.
• 확장된 Davis-Kahan 정리는 고유값 간격 하에서 낮은 질서 근사 오차 분석을 위한 새로운 이론적 도구를 제공한다.
• 실험 결과 St-SVP는 복원 정확도와 실행 시간 모두에서 표준 SVP보다 뛰어나며, 특히 조건수가 높은 행렬에서 두각을 나타낸다.
• St-SVP는 행렬 크기와 함께 근사 선형 스케일링을 유지하며, 조건수가 증가할수록 SVP보다 훨씬 빠르게 작동한다.