[논문 리뷰] Coherent Matrix Completion

Srinadh Bhojanapalli, Yudong Chen외 2명|arXiv (Cornell University)|2013. 06. 12.

Sparse and Compressive Sensing Techniques인용 수 10

한 줄 요약

이 논문은 행렬 완성에 대해 비대칭 샘플링 전략을 제안하며, 행렬의 행과 열 레버리지 스코어 비례하는 확률으로 샘플링할 경우, 임의의 랭크-$ r $ $ n \times n $ 행렬을 최소한 $ O(nr \log^2 n) $ 개의 샘플에서 정확하게 복원할 수 있음을 보여준다. 이 방법은 거의 必要한 것으로 입증되었으며, 레버리지 스코어가 사전에 알려지지 않은 경우에도 실용적인 확장이 가능하다.

ABSTRACT

Matrix completion, i.e., the exact and provable recovery of a low-rank matrix from a small subset of its elements, is currently only known to be possible if the matrix satisfies a restrictive structural constraint---known as {\em incoherence}---on its row and column spaces. In these cases, the subset of elements is sampled uniformly at random. In this paper, we show that {\em any} rank-$ r $ $ n$-by-$ n $ matrix can be exactly recovered from as few as $O(nr \log^2 n)$ randomly chosen elements, provided this random choice is made according to a {\em specific biased distribution}: the probability of any element being sampled should be proportional to the sum of the leverage scores of the corresponding row, and column. Perhaps equally important, we show that this specific form of sampling is nearly necessary, in a natural precise sense; this implies that other perhaps more intuitive sampling schemes fail. We further establish three ways to use the above result for the setting when leverage scores are not known extit{a priori}: (a) a sampling strategy for the case when only one of the row or column spaces are incoherent, (b) a two-phase sampling procedure for general matrices that first samples to estimate leverage scores followed by sampling for exact recovery, and (c) an analysis showing the advantages of weighted nuclear/trace-norm minimization over the vanilla un-weighted formulation for the case of non-uniform sampling.

연구 동기 및 목표

• 기존의 제한적인 비일관성 조건을 제거하기 위해, 어떤 저랭크 행렬에도 적용 가능한 샘플링 체계를 도입하는 것.
• 레버리지 스코어 비례 샘플링이 정확한 복원을 위해 거의 必要하다는 것을 입증함으로써, 균일하거나 직관적인 샘플링 전략의 한계를 보여주는 것.
• 레버리지 스코어가 사전에 알려지지 않은 경우를 위한 실용적인 전략을 개발하는 것, 특히 한쪽 방향의 비일관성과 이중 단계 샘플링 절차를 포함한다.
• 비균일 샘플링 하에서 가중 핵심 노름 최소화가 비가중 형태보다 우수한 성능을 보임을 보여주는 것.

제안 방법

• 입력 요소의 선택 확률이 해당 행과 열의 레버리지 스코어 합에 비례하는 샘플링 분포를 제안한다.
• 이 비대칭 샘플링 전략을 사용하여, 고려 확률로 $ O(nr \log^2 n) $ 개의 샘플로도 정확한 저랭크 행렬 복원이 가능하다는 것을 증명한다.
• 정밀한 정보이론적 의미에서 이 샘플링 전략이 정확한 복원을 위해 거의 필수적임을 보여주는 거의 날카로운 하한을 설정한다.
• 이중 단계 샘플링 절차를 도입한다: 먼저 레버리지 스코어를 추정하기 위해 샘플링을 수행하고, 이후 유도된 분포에 따라 타겟팅된 샘플링을 수행하여 정확한 복원을 달성한다.
• 비균일 샘플링 상황에서 가중 핵심 노름 최소화의 이점을 분석하여, 기존 핵심 노름 최소화보다 더 뛰어난 복원 성능을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 제한적인 비일관성 조건 없이도 어떤 저랭크 행렬이라도 행렬 완성 가능할 수 있는가?
• RQ2 정확한 복원을 위해 레버리지 스코어 비례 샘플링이 필수적이거나 거의 필수적인가?
• RQ3 레버리지 스코어 추정을 이중 단계 샘플링 프레임워크에 통합하여 실용적인 행렬 완성에 어떻게 활용할 수 있는가?
• RQ4 비균일 샘플링 하에서 가중 핵심 노름 최소화가 비가중 형태보다 성능이 뛰어나게 되는가?

주요 결과

• 레버리지 스코어 비례 분포에 따라 샘플링할 경우, 임의의 랭크-$ r $ $ n \times n $ 행렬은 $ O(nr \log^2 n) $ 개의 샘플에서 정확하게 복원 가능하다.
• 제안된 샘플링 전략은 정확한 복원을 위해 거의 필수적이며, 이는 다른 샘플링 전략이 정밀한 정보이론적 의미에서 실패할 수 있음을 의미한다.
• 행 또는 열 중 하나만 비일관성이 있는 행렬의 경우, 수정된 샘플링 전략을 통해 $ O(nr \log^2 n) $ 개의 샘플로도 정확한 복원이 가능하다.
• 레버리지 스코어를 사전에 알 수 없는 일반적인 행렬에 대해, 초기 레버리지 스코어 추정 후 타겟팅된 샘플링을 수행하는 이중 단계 샘플링 절차를 통해 정확한 복원이 가능하다.
• 비균일 샘플링 하에서 가중 핵심 노름 최소화가 비가중 최소화보다 뚜렷이 뛰어난 성능을 보이며, 특히 고레버리지 요소에 대해 비중을 두는 경우에 두드러진다.