[논문 리뷰] Completing Any Low-rank Matrix, Provably

Yudong Chen, Srinadh Bhojanapalli외 2명|arXiv (Cornell University)|2013. 06. 12.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 22

한 줄 요약

이 논문은 임의의 저질서 행렬에 대해 증명 가능하게 정확한 행렬 완성 방법을 제안한다. 이는 행렬의 행과 열 리지드 스코어 합에 비례하는 비균일 표본 추출 방식을 사용한다. 핵노름 최소화를 통해 정확한 복원을 위해 $O(nrackslash\log^2 n)$개의 표본으로 충분하며, 이 표본 추출 전략이 거의 必要하다는 것을 증명하여 이전 연구에서 요구하던 비일관성 가정을 제거한다.

ABSTRACT

Matrix completion, i.e., the exact and provable recovery of a low-rank matrix from a small subset of its elements, is currently only known to be possible if the matrix satisfies a restrictive structural constraint---known as {\em incoherence}---on its row and column spaces. In these cases, the subset of elements is sampled uniformly at random. In this paper, we show that {\em any} rank-$ r $ $ n$-by-$ n $ matrix can be exactly recovered from as few as $O(nr \log^2 n)$ randomly chosen elements, provided this random choice is made according to a {\em specific biased distribution}: the probability of any element being sampled should be proportional to the sum of the leverage scores of the corresponding row, and column. Perhaps equally important, we show that this specific form of sampling is nearly necessary, in a natural precise sense; this implies that other perhaps more intuitive sampling schemes fail. We further establish three ways to use the above result for the setting when leverage scores are not known extit{a priori}: (a) a sampling strategy for the case when only one of the row or column spaces are incoherent, (b) a two-phase sampling procedure for general matrices that first samples to estimate leverage scores followed by sampling for exact recovery, and (c) an analysis showing the advantages of weighted nuclear/trace-norm minimization over the vanilla un-weighted formulation for the case of non-uniform sampling.

연구 동기 및 목표

• 저질서 행렬 완성에서 제한적인 비일관성 가정을 제거하여, 이전 방법이 특정 구조를 가진 행렬에만 적용 가능했던 것을 해결한다.
• 행렬의 구조에 맞게 리지드 스코어가 높은 항목을 우선적으로 선택하는 표본 추출 전략을 개발하여, 임의의 저질서 행렬의 복원을 보장한다.
• 비균일 표본 추출 하에서 정확한 복원에 대한 이론적 보장을 수립하고, 일관성 있는 행렬의 경우 리지드 스코어 기반 표본 추출이 거의 必要하다는 것을 보여준다.
• 리지드 스코어가 사전에 알려지지 않은 경우를 위한 실용적 전략을 제공하며, 이중 단계 표본 추출과 가중 핵노름 최소화를 포함한다.
• 비균일 표본 추출 하에서 표준 핵노름 최소화에 비해 가중 핵노름 최소화의 이론적 이점을 입증한다.

제안 방법

• 기저 행렬의 행 $i$와 열 $j$의 리지드 스코어 합에 비례하여 항목 $(i,j)$를 표본 추출할 확률이 결정되는 비균일 표본 추출 분포를 제안한다.
• 비균일 표본 추출 하에서 복원 오차를 분석하기 위해 가중 $\ell_{\infty,2}$ 행렬 노름을 포함하는 새로운 농도 경계를 사용한다.
• 행렬 베르누이 부등식을 적용하여 표본 추출 연산자가 기대값에서 벗어나지 않도록 제어함으로써 고확률 복원 보장을 가능하게 한다.
• 이중 단계 적응형 표본 추출 전략을 도입: 먼저 균일하게 표본을 추출하여 리지드 스코어를 추정하고, 이후 추정된 스코어에 따라 표본을 추출하여 정확한 복원을 달성한다.
• 표본 추출 확률에 기반하여 가중치를 선택하는 가중 핵노름 최소화 프레임워크를 개발하여 최적의 표본 복잡도를 복원한다.
• 리지드 스코어 기반 표본 추출 전략이 일관성 있는 행렬의 정확한 복원에 거의 必要하다는 것을 보이며, 필요한 표본 추출 편향에 하한을 설정한다.

실험 결과

연구 질문

• RQ1 비일관성 가정을 위반하는 행렬이라도 비균일 표본 추출 전략을 통해 저질서 행렬 완성을 달성할 수 있는가?
• RQ2 어떤 표본 추출 분포가 정보 이론적 최소값에 가까운 표본 복잡도로 임의의 저질서 행렬을 정확히 복원할 수 있는가?
• RQ3 일관성 있는 행렬을 복원하기 위해 필요한 최소 표본 추출 편향은 무엇이며, 제안된 리지드 스코어 기반 전략이 이 측면에서 최적인가?
• RQ4 리지드 스코어가 사전에 알려지지 않은 경우 리지드 스코어 기반 표본 추출을 어떻게 실용적으로 구현할 수 있는가?
• RQ5 비균일 표본 추출 하에서 표준 핵노름 최소화에 비해 가중 핵노름 최소화의 이론적 이점은 무엇인가?

주요 결과

• 임의의 질서 $r$인 $n\times n$ 행렬은 리지드 스코어 비례 확률에 따라 $O(nr\backslash\log^2 n)$개의 항목을 표본 추출하여 핵노름 최소화를 통해 정확히 복원할 수 있다.
• 제안된 표본 추출 전략은 일관성 있는 행렬의 정확한 복원에 거의 必要하며, 이는 다른 표본 추출 전략이 일반적으로 실패한다는 것을 의미한다.
• 열 공간이 비일관성이고 행의 일관성이 임의일 경우, 리지드 스코어의 사전 지식 없이도 정확한 복원이 가능한 이론적으로 올바른 표본 추출 전략이 존재하며, 이는 거의 최적의 표본 복잡도를 가진다.
• 이중 단계 적응형 표본 추출 전략—먼저 균일 표본 추출로 리지드 스코어를 추정하고, 이후 리지드 스코어 기반 표본 추출을 수행—는 최적 전략과 유사한 성능을 보이며, 일관성 있는 행렬에서는 균일 표본 추출에 비해 뚜렷한 성능 향상을 보인다.
• 표본 추출 확률에 기반하여 적절히 가중된 가중 핵노름 최소화는 무게 없이 최소화한 경우와 동일한 표본 복잡도를 달성하며, 이는 그 경험적 성공에 대한 이론적 근거를 제공한다.
• 이론적 분석을 통해 표본 복잡도 경계 $O(nr\backslash\log^2 n)$가 정보 자유도를 제외한 $\log^2 n$ 요소 이외에는 최적임을 보여주며, $n\times n$ 질서 $r$ 행렬의 자유도와 일치한다.