[논문 리뷰] Matrix Completion from $O(n)$ Samples in Linear Time

David Gamarnik, Quan Li외 1명|arXiv (Cornell University)|2017. 02. 08.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 8

한 줄 요약

이 논문은 표준 비균형성, 유한 질량, 조건 수 가정 하에 $n\times n$ 낮은 질량 행렬을 $O(n\log^2(1/\epsilon))$ 개의 샘플과 선형 시간 $O(n\log^2(1/\epsilon))$ 로 $\epsilon$-근사 복원을 달성하는 새로운 행렬 완성 알고리즘 TAM(임계값이 적용된 교차 최소화)을 제안한다. 이 방법은 단순한 교차 최소화 프레임워크 내에서 특이값의 임계처리와 특이벡터의 재스케일링을 도입하여, 희소 랜덤 정규 이분할 그래프를 사용한 샘플링을 통해 빠르고 정확한 복원을 보장한다.

ABSTRACT

We consider the problem of reconstructing a rank-$k$ $n imes n$ matrix $M$ from a sampling of its entries. Under a certain incoherence assumption on $M$ and for the case when both the rank and the condition number of $M$ are bounded, it was shown in \cite{CandesRecht2009, CandesTao2010, keshavan2010, Recht2011, Jain2012, Hardt2014} that $M$ can be recovered exactly or approximately (depending on some trade-off between accuracy and computational complexity) using $O(n \, ext{poly}(\log n))$ samples in super-linear time $O(n^{a} \, ext{poly}(\log n))$ for some constant $a \geq 1$. In this paper, we propose a new matrix completion algorithm using a novel sampling scheme based on a union of independent sparse random regular bipartite graphs. We show that under the same conditions w.h.p. our algorithm recovers an $ε$-approximation of $M$ in terms of the Frobenius norm using $O(n \log^2(1/ε))$ samples and in linear time $O(n \log^2(1/ε))$. This provides the best known bounds both on the sample complexity and computational complexity for reconstructing (approximately) an unknown low-rank matrix. The novelty of our algorithm is two new steps of thresholding singular values and rescaling singular vectors in the application of the "vanilla" alternating minimization algorithm. The structure of sparse random regular graphs is used heavily for controlling the impact of these regularization steps.

연구 동기 및 목표

• 낮은 질량 행렬의 근사 복원을 최적의 샘플 및 계산 복잡도로 달성하는 행렬 완성 알고리즘을 개발하는 것.
• 기존의 $O(n\log n)$ 에서 $O(n\log^2(1/\epsilon))$ 로 샘플 복잡도를 감소시키면서도 선형 시간 복잡도를 유지하는 것.
• 강한 농도와 안정성을 보장하는 희소 랜덤 정규 이분할 그래프 기반의 샘플링 기법을 설계하는 것.
• 특이값 임계처리와 벡터 재스케일링을 통한 정규화를 도입하여 기존 교차 최소화 방법을 개선하는 것.
• 근사 낮은 질량 행렬 완성 문제에서 샘플 복잡도와 실행 시간에 대해 가장 우수한 경계를 달성하는 것.

제안 방법

• 균일하고 잘 조절된 샘플링을 보장하기 위해 독립적인 희소 랜덤 정규 이분할 그래프의 합집합 기반의 새로운 샘플링 기법을 사용한다.
• 특이값의 임계처리와 특이벡터의 재스케일링라는 두 가지 핵심 정규화 단계를 추가한 '기본' 교차 최소화 알고리즘을 적용한다.
• 이론적 분석은 특히 구성 모델을 사용하여 샘플링 과정의 편차를 제어하기 위해 랜덤 정규 그래프에 대한 농도 부등식에 기반한다.
• 진짜 행렬 $M$ 과 재구성된 행렬 $\tilde{M}$ 사이의 프로베니우스 노름 오차에 대해 높은 확률로 경계를 설정한다.
• 행렬 베르누이 부등식과 스위칭 기반의 농도 결과를 활용하여 경험적 그람 행렬이 항등행렬에서 벗어남을 제한한다.
• 유한 질량 $k$, 조건 수 $\kappa$, 비균형성 매개변수 $\mu_0$ 등의 표준 가정 하에 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 샘플 복잡도가 $n$ 에 대해 로그보다 작은 경우, 선형 시간 내에 행렬 완성을 달성할 수 있는가?
• RQ2 정확도를 희생시키지 않고 교차 최소화의 샘플 복잡도를 $\log n$ 요소만큼 감소시킬 수 있는가?
• RQ3 희소 랜덤 정규 이분할 그래프 샘플링 기법이 행렬 완성에서 더 좋은 농도와 더 빠른 수렴을 가능하게 하는가?
• RQ4 특이값 임계처리와 벡터 재스케일링가 희소 샘플링 하에서 교차 최소화를 안정화시킬 수 있는가?
• RQ5 표준 가정 하에 근사 행렬 완성 문제에서 $O(n\log^2(1/\epsilon))$ 샘플 복잡도가 최적인가?

주요 결과

• 제안된 TAM 알고리즘은 높은 확률로 $O(n\log^2(1/\epsilon))$ 개의 샘플을 사용하여 프로베니우스 노름에서 $\epsilon$-근사 복원을 달성한다.
• 알고리즘은 선형 시간 $O(n\log^2(1/\epsilon))$ 내에서 실행되며, 이는 이전의 초선형 시간 방법들에 비해 상당한 개선이다.
• 샘플 복잡도는 로그 요소의 차원에서 최적이며, 이전의 교차 최소화 접근법의 $O(n\log n)$ 경계를 향상시킨다.
• 특이값 임계처리와 벡터 재스케일링의 도입은 교차 최소화 과정을 안정화시키고 희소 샘플링 하에서도 수렴 가능하게 한다.
• 이론적 분석은 희소 랜덤 정규 이분할 그래프 샘플링 기법이 경험적 그람 행렬이 항등행렬 근처에 강하게 농도를 보장함을 확인한다.
• 이 방법은 근사 낮은 질량 행렬 완성 문제에서 샘플 복잡도와 계산 효율성 사이의 최고의 트레이드오프를 달성한다.