[논문 리뷰] CUR Algorithm for Partially Observed Matrices

Miao Xu, Rong Jin외 1명|arXiv (Cornell University)|2014. 11. 04.

Sparse and Compressive Sensing Techniques참고 문헌 55인용 수 28

한 줄 요약

이 논문은 부분 관측된 행렬에 대해 저랭크 근사화를 달성하기 위해 랜덤으로 샘플링된 행, 열 및 요소를 조합하는 새로운 CUR 행렬 분해 알고리즘인 CUR+를 제안한다. 전체 행렬에 대한 액세스가 필요하지 않으며, 스펙트럴 노름에서 상대 오차 한계를 제공한다. 또한 랭크-$r$인 $n\times n$ 행렬을 정확히 복원하기 위해 단지 $O(nr\ln r)$개의 관측된 요소만 필요하다는 것을 보여주며, 기존의 행렬 복원 방법에 비해 샘플 복잡도를 크게 향상시킨다.

ABSTRACT

CUR matrix decomposition computes the low rank approximation of a given matrix by using the actual rows and columns of the matrix. It has been a very useful tool for handling large matrices. One limitation with the existing algorithms for CUR matrix decomposition is that they need an access to the {\it full} matrix, a requirement that can be difficult to fulfill in many real world applications. In this work, we alleviate this limitation by developing a CUR decomposition algorithm for partially observed matrices. In particular, the proposed algorithm computes the low rank approximation of the target matrix based on (i) the randomly sampled rows and columns, and (ii) a subset of observed entries that are randomly sampled from the matrix. Our analysis shows the relative error bound, measured by spectral norm, for the proposed algorithm when the target matrix is of full rank. We also show that only $O(n r\ln r)$ observed entries are needed by the proposed algorithm to perfectly recover a rank $r$ matrix of size $n imes n$, which improves the sample complexity of the existing algorithms for matrix completion. Empirical studies on both synthetic and real-world datasets verify our theoretical claims and demonstrate the effectiveness of the proposed algorithm.

연구 동기 및 목표

• 실제 응용에서 누락된 데이터가 존재하는 환경에서 기존의 CUR 알고리즘이 전체 행렬 액세스를 요구하는 한계를 해결한다.
• 행렬의 일부 요소와 랜덤으로 샘플링된 행/열만 이용 가능한 상황에서 저랭크 근사화를 위한 계산 효율적인 방법을 개발한다.
• 부분 관측 조건 하에서 저랭크 및 전랭크 행렬에 대한 근사 오차에 대한 이론적 보장을 제공한다.
• 기존의 표준 행렬 복원 및 적응형 샘플링 방법에 비해 행렬 복원의 샘플 복잡도를 향상시킨다.

제안 방법

• 알고리즘은 대상 행렬에서 랜덤으로 샘플링된 행, 열 및 관측된 요소를 조합하여 저랭크 근사화를 구성한다.
• 계산 효율성을 확보하기 위해 추적 노름 정규화 최적화 문제를 해결하는 대신 표준 회귀 작업으로 문제를 재구성한다.
• 샘플링된 행과 열을 바탕으로 투영 행렬을 추정하기 위해 수정된 니스트롬 유형의 접근법을 사용한다.
• 이론적 분석은 농도 부등식과 행렬 페르터베이션 이론을 기반으로 하여 근사의 스펙트럴 노름 오차를 한정한다.
• 추정된 투영 부분공간에서의 역행렬 연산을 안정화하기 위해 정규화 파rameter $\eta$를 도입한다.
• 샘플링된 부분행렬의 조건수를 제어하기 위해 행렬의 스펙트럴 구조와 관련된 파rameter $\mu(\eta)$를 통해 알고리즘의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 부분 관측된 요소와 랜덤으로 샘플링된 행/열만 존재할 때, CUR 기반 저랭크 근사화를 효과적으로 계산할 수 있는가?
• RQ2 전랭크 행렬의 신뢰할 수 있는 저랭크 근사화를 달성하기 위해 필요한 최소한의 관측된 요소 수는 얼마인가?
• RQ3 부분 관측 조건 하에서, 제안된 방법의 스펙트럴 노름 오차는 행렬 크기와 랭크에 따라 어떻게 변화하는가?
• RQ4 제안된 알고리즘이 전랭크 행렬에 대해 기존의 행렬 복원 기법보다 더 낮은 샘플 복잡도를 달성할 수 있는가?
• RQ5 상대 오차와 실패 확률에 대해, CUR+ 근사의 이론적 오차 한계는 무엇인가?

주요 결과

• 제안된 CUR+ 알고리즘은 부분 관측 조건 하에서 저랭크 및 전랭크 행렬에 대해 스펙트럴 노름에서 상대 오차 한계를 달성한다.
• 랭크-$r$인 $n\times n$ 행렬을 정확히 복원하기 위해 단지 $O(nr\ln r)$개의 관측된 요소만 필요하며, 이는 표준 행렬 복원 기법의 $O(nr\ln^2 n)$ 한계보다 향상된 것이다.
• CUR+의 샘플 복잡도는 적응형 샘플링 방법의 $O(nr^{3/2}\ln r)$ 한계보다 낮아, 고랭크 또는 전랭크 행렬에 대해 더 효율적이다.
• 이론적 분석에 따르면, 높은 확률 $1-4e^{-t}$ 하에서 근사 오차는 $O(\delta)$로 제한되며, 여기서 $\delta$는 스펙트럴 이탈을 제어한다.
• 합성 및 실세계 데이터셋에 대한 실험적 연구는 이론적 주장과 일치하며, 부분 관측 조건 하에서 CUR+의 저랭크 근사화 효과성을 입증한다.
• 관측된 요소 수가 적을 경우, 강건성과 효율적인 추정 전략 덕분에 CUR+는 난이도 높은 행렬 복원 및 편향 없는 추정 방법보다 뛰어난 성능을 보인다.