[논문 리뷰] Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent

Chi Jin, Sham M. Kakade외 1명|arXiv (Cornell University)|2016. 05. 26.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 29

한 줄 요약

이 논문은 낮은 질량 행렬 분해에서 비볼록 확률적 경사 하강법(Stochastic Gradient Descent, SGD)을 사용한 처음으로 증명 가능한 효율성을 갖춘 온라인 행렬 완성 알고리즘을 제안한다. 관측값 하나당 요소 행렬의 한 행만 갱신함으로써 거의 선형 실행 시간을 달성하고, 표준 비일관성 및 샘플링 가정 하에서 진짜 행렬로의 수렴을 증명한다.

ABSTRACT

Matrix completion, where we wish to recover a low rank matrix by observing a few entries from it, is a widely studied problem in both theory and practice with wide applications. Most of the provable algorithms so far on this problem have been restricted to the offline setting where they provide an estimate of the unknown matrix using all observations simultaneously. However, in many applications, the online version, where we observe one entry at a time and dynamically update our estimate, is more appealing. While existing algorithms are efficient for the offline setting, they could be highly inefficient for the online setting. In this paper, we propose the first provable, efficient online algorithm for matrix completion. Our algorithm starts from an initial estimate of the matrix and then performs non-convex stochastic gradient descent (SGD). After every observation, it performs a fast update involving only one row of two tall matrices, giving near linear total runtime. Our algorithm can be naturally used in the offline setting as well, where it gives competitive sample complexity and runtime to state of the art algorithms. Our proofs introduce a general framework to show that SGD updates tend to stay away from saddle surfaces and could be of broader interests for other non-convex problems to prove tight rates.

연구 동기 및 목표

• 입력 요소가 순차적으로 도착하고 실시간으로 추정치를 갱신해야 하는 저질량 행렬 완성 문제에서 증명 가능한 효율성을 갖춘 온라인 알고리즘이 부족한 문제를 해결한다.
• 각 새로운 관측값 이후에 다시 실행되어야 하는 오프라인 알고리즘의 비효율성을 해결하여 스트리밍 데이터에 비실용적인 상황을 해결한다.
• 새로운 입력 요소당 최소한의 계산 오버헤드로 저질량 행렬의 동적 추정치를 유지할 수 있는 방법을 개발한다.
• 비볼록 SGD가 안정점에 갇히지 않고 표준 비일관성 및 샘플링 가정 하에서 진짜 저질량 행렬로 수렴하는 이론적 보장을 확립한다.
• SGD가 안정점에서 멀어지고 효율적으로 수렴함을 보여주는 일반적인 프레임워크를 제공하여, 행렬 완성 외의 분야에도 적용 가능하도록 한다.

제안 방법

• 관측된 행렬과 그 저질량 분해 $\mathbf{U}\mathbf{V}^\top$ 간의 프로베니우스 노름의 최소화를 통해 행렬 완성 문제를 비볼록 최적화 문제로 재구성한다.
• 관측된 요소 $(i,j)$가 도착할 때마다 $\mathbf{U}$의 $i$-번째 행과 $\mathbf{V}$의 $j$-번째 행만 갱신하는 확률적 경사 하강법(SGD)을 적용하여, 각 갱신 비용이 $O(k)$가 되도록 보장한다. 여기서 $k$는 질량이다.
• 수렴 속도와 안정성의 균형을 이루기 위해 철저히 선택된 단계 크기 $\eta$를 사용하며, 고확률 분석을 통해 이론적 경계를 도출한다.
• 비일관성 및 샘플링 조건 하에서 오차 $f(\mathbf{U}_t, \mathbf{V}_t) = \|\mathbf{U}_t\mathbf{V}_t^\top - \mathbf{M}\|_F^2$ 의 진화를 추적하는 새로운 분석 프레임워크를 도입하고, 이 오차가 기하급수적으로 감소함을 보여준다.
• 잠재 함수와 조건부 기대값 경계를 사용하여 반복의 이동을 제어하고, 알고리즘이 고도의 확률로 안정점에서 멀어져 있음을 증명한다.
• 알고리즘이 $O(\kappa^3 \mu d k \log d)$의 샘플 복잡도와 행렬 크기에서 거의 선형인 총 실행 시간을 달성함을 증명한다. 여기서 $\kappa$는 조건 수, $\mu$는 비일관성, $d$는 차원이다.

실험 결과

연구 질문

• RQ1 입력 요소가 순차적으로 공개되는 온라인 행렬 완성 문제에서 비볼록 SGD 기반 알고리즘이 증명 가능한 효율성을 갖출 수 있는가?
• RQ2 표준 비일관성 및 샘플링 가정 하에서 비볼록 SGD는 안정점을 피하고 진짜 저질량 행렬로 수렴하는가?
• RQ3 이러한 온라인 알고리즘의 샘플 복잡도와 실행 시간은 최신 오프라인 방법과 비교해 어떻게 되는가?
• RQ4 이러한 설정에서 SGD의 수렴 분석을 비볼록 문제에 일반화할 수 있는가? 이는 유사한 기하학적 구조를 갖는 문제에 적용 가능하다.
• RQ5 고도의 확률로 진짜 행렬로 수렴하는 것을 보장하면서도, 총 실행 시간을 거의 선형으로 유지할 수 있는가?

주요 결과

• 제안된 온라인 알고리즘은 총 실행 시간이 행렬 크기에 대해 거의 선형이며, 구체적으로 $O(\kappa^3 \mu d k \log d)$로 매우 확장 가능하다.
• 알고리즘은 증명 가능한 수렴 보장을 제공한다: 오차 $\|\mathbf{U}_t\mathbf{V}_t^\top - \mathbf{M}\|_F^2$ 는 고도의 확률로 기하급수적으로 감소한다.
• 각 갱신이 매우 효율적이며, 새로운 관측값 하나당 오직 $O(k)$의 연산만 필요로 하여 스트리밍 환경에서 실시간 적용이 가능하다.
• 분석은 SGD가 비볼록 저질량 행렬 복구 문제에서 안정점을 피하고 전역 최솟값으로 수렴함을 보여주는 일반적인 프레임워크를 도입한다.
• 오프라인 설정에서 적용했을 때, 이 알고리즘은 샘플 복잡도와 실행 시간 모두 최신 오프라인 방법과 동일하거나 슈퍼어리어하다.
• 이론적 결과는 표준 가정 하에서 성립한다: 진짜 행렬의 비일관성과 요소의 균일한 샘플링으로, 광범위한 적용 가능성을 보장한다.