[논문 리뷰] Matrix Completion from Non-Uniformly Sampled Entries

Yuanyu Wan, Jinfeng Yi외 1명|arXiv (Cornell University)|2018. 06. 27.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 3

한 줄 요약

이 논문은 일부 열이 완전히 관측되고 다른 열은 균일하게 샘플링된 부분적으로 관측되는 비균일 샘플링된 항목들로부터 저질수행 행렬을 복원하는 행렬 완성 알고리즘을 제안한다. 먼저 완전히 관측된 열들로부터 열 공간을 복원하고, 이후 이 공간에 투영하여 부분적으로 관측된 각 열을 재구성한다. 이로써 O(rn ln n)개의 항목으로 정확한 복원을 달성하며, 노이즈가 있는 행렬에 대해서는 프로베니우스 노름 오차 한계를 제공한다.

ABSTRACT

In this paper, we consider matrix completion from non-uniformly sampled entries including fully observed and partially observed columns. Specifically, we assume that a small number of columns are randomly selected and fully observed, and each remaining column is partially observed with uniform sampling. To recover the unknown matrix, we first recover its column space from the fully observed columns. Then, for each partially observed column, we recover it by finding a vector which lies in the recovered column space and consists of the observed entries. When the unknown $m imes n$ matrix is low-rank, we show that our algorithm can exactly recover it from merely $Ω(rn\ln n)$ entries, where $r$ is the rank of the matrix. Furthermore, for a noisy low-rank matrix, our algorithm computes a low-rank approximation of the unknown matrix and enjoys an additive error bound measured by Frobenius norm. Experimental results on synthetic datasets verify our theoretical claims and demonstrate the effectiveness of our proposed algorithm.

연구 동기 및 목표

• 입력 항목들이 비균일하게 샘플링되는 상황, 특히 일부 열이 완전히 관측되고 다른 열들이 부분적으로 관측되는 경우에 행렬 완성을 다루는 것.
• 이전 연구보다 더 일반적인 샘플링 가정을 수용하는 복원 알고리즘을 개발하는 것, 특히 일부 열만 완전히 관측되는 경우를 포함한다.
• 저질수행 행렬의 정확한 복원과 노이즈가 있는 상황에서의 저질수행 근사에 대한 이론적 보장을 수립하는 것.
• 실험을 통해 제안된 방법이 Nyström과 같은 기존 기준보다 정확도와 내성 면에서 뛰어나다는 것을 보여주는 것.

제안 방법

• 알고리즘은 먼저 완전히 관측된 열들을 사용하여 알려지지 않은 행렬의 열 공간을 복원한다.
• 각 부분적으로 관측된 열에 대해, 관측된 항목들과 일치하는 복원된 열 공간 내의 벡터를 찾는다.
• 이 방법은 행렬의 비균일성 조건과 부분적으로 관측된 열 내에서의 균일한 항목 샘플링에 의존한다.
• 열 공간을 추정하기 위해 특이값 분해(SVD)를 사용하고, 누락된 항목을 재구성하기 위해 투영을 적용한다.
• 노이즈가 있는 행렬의 경우, 알고리즘은 저질수행 근사를 계산하고 프로베니우스 노름을 사용하여 오차를 한계화한다.
• 이론적 분석은 농도 불등식과 유니온 바운드를 활용하여 표본 복잡도 한계를 도출한다.

실험 결과

연구 질문

• RQ1 일부 열만 완전히 관측되고 나머지 열들이 균일하게 샘플링된 부분적으로 관측되는 경우, 저질수행 행렬을 정확히 복원할 수 있는가?
• RQ2 이 비균일 샘플링 모델 하에서 정확한 복원을 위해 필요한 최소 관측 항목 수는 얼마인가?
• RQ3 노이즈가 존재하는 상황에서 제안된 알고리즘의 성능은 어떠하며, 어떤 오차 한계를 설정할 수 있는가?
• RQ4 기존의 균일 샘플링 기반 행렬 완성 기법보다 더 낮은 표본 복잡도를 달성할 수 있는가?
• RQ5 낮은 근사 정확도 측면에서 기존 방법들인 Nyström 및 CUR+와 비교해 볼 때 알고리즘의 성능은 어떠한가?

주요 결과

• 알고리즘은 O(rn ln n)개의 관측 항목으로 저질수행 행렬을 정확히 복원한다. 여기서 r은 행렬의 질서이고 n은 열의 수이다.
• 표본 복잡도는 균일 샘플링 하에서 기존의 O(rn ln²n) 보다 略적으로 더 우수하다.
• 노이즈가 있는 저질수행 행렬의 경우, 알고리즘은 노이즈 수준과 행렬의 비균일성에 비례하는 프로베니우스 노름 오차 한계를 제공한다.
• 실험 결과, 동일한 수의 항목을 관측함에도 불구하고, Nyström 방법보다 저질수행 근사에서 더 뛰어난 성능을 보였다.
• 부분적으로 관측된 열당 관측 항목 수(s)가 r² ln r이 아닌 r ln r에 선형적으로 비례함을 확인하여 이론적 한계를 뒷받침한다.
• 완전히 관측된 열의 최소 수(d) 역시 r ln r에 선형적으로 비례함을 확인하여, 표본 복잡도가 주로 부분적으로 관측된 열들에 의해 지배됨을 시사한다.