[논문 리뷰] Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent

Qinqing Zheng, John Lafferty|arXiv (Cornell University)|2016. 05. 23.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 114

한 줄 요약

본 논문은 직사각형 행렬 완성을 위한 비볼록 상승형 문제를 분석하고, 거의 최소에 가까운 관측 수에서 그래디언트 하강의 선형 수렴을 높은 확률로 입증한다.

ABSTRACT

We address the rectangular matrix completion problem by lifting the unknown matrix to a positive semidefinite matrix in higher dimension, and optimizing a nonconvex objective over the semidefinite factor using a simple gradient descent scheme. With $O( μr^2 κ^2 n \max(μ, \log n))$ random observations of a $n_1 imes n_2$ $μ$-incoherent matrix of rank $r$ and condition number $κ$, where $n = \max(n_1, n_2)$, the algorithm linearly converges to the global optimum with high probability.

연구 동기 및 목표

• semidefinite 리프팅과 인자화를 사용하여 저랭크 구조를 갖는 직사각형 행렬 완성을 동기 부여하고 연구한다.
• 반지름으로써 비볼록 목적 함수를 반시드 벡터의 반지름으로 구성하고 스펙트럴 초기화로 기울기 하강법을 분석한다.
• 정확한 상승 해(solution)가 식별될 수 있는 조건과 기울기 하강법이 기하적 수렴을 보장하는 조건을 확립한다.
• 랭크, 응집(coherence), 그리고 조건수에 대해 명시적인 샘플 복잡도 요구사항과 수렴 속도를 제공한다.

제안 방법

• X*를 양의 반정방행렬 Y*으로 승강하고 Y*=Z Z^T로 인수분해하며 Z ∈ R^{(n1+n2) x r}로 표현한다.
• Y*=ZZ^T를 이용한 상승(리프트) 오차를 측정하고 열공간 정렬을 맞추기 위한 정규화 항을 포함하는 비볼록 목적 함수 f(Z)를 구성한다(λ=1/2).
• 비상관성(incoherence)을 유지하기 위해 C 집합으로의 폐쇄형 비상관성 프로젝션(projection)을 적용한 투사형 기울기 하강법을 사용한다.
• 초기화로 p^{-1}P_Omega(X*)의 상위 순위 인자에서 얻은 스펙트럴 초기화를 사용한다.
• Bernoulli(또는 균일) 샘플링하에서 m ≥ c mu r^2 kappa^2 max(mu, log n) n 관찰치일 때 해집합으로의 선형 수렴을 증명한다.
• 로컬 정칙성 조건 RC를 제공하고 mu, r, kappa, p에 따라 수렴 속도를 보인다.

실험 결과

연구 질문

• RQ1 랜덤 관찰 하에서 X*를 식별적으로 복원하기에 충분한 샘플 복잡도(mu, r, kappa, n 관점에서)는 무엇인가?
• RQ2 스펙트럼으로 초기화될 때 상승된 비볼록 목적 함수에 대한 기울기 하강법이 글로벌 최적해로 선형 수렴하는가, 어떤 조건하에서?
• RQ3 정규화 항과 비상관성 제약이 직사각형 행렬 완성을 위한 Burer-Monteiro 인수분해의 수렴성과 식별가능성에 어떠한 영향을 미치는가?
• RQ4 제안된 방법이 이론상 및 실무에서 행렬 완성을 위한 기존의 볼록 및 비볼록 방법들과 어떻게 비교되는가?

주요 결과

• m ≥ c0 mu r^2 kappa^2 max(mu, log n) n 관찰을 만족하는 경우, 기울기 하강의 반복은 높은 확률로 상승 해(solution)에 기하적 수렴한다.
• 스펙트럴 초기화는 시작점을 해 집합의 작은 이웃 안에 위치시키고 적절한 스텝 크기와 정규화 아래에서 선형 수렴을 가능하게 한다.
• 정규화 lambda=1/2는 수렴을 보장하는 로컬 정칙성 조건을 제공한다; 없으면 수렴 동작이 달라질 수 있다.
• 이 알고리즘은 Bernoulli 샘플링 모델에서 글로벌 수렴 보장을 달성하며, 샘플 복잡도는 mu, r, kappa, n에 비례하는 반면 명시된 결과에서 원하는 정확도와는 독립적으로 확장된다.
• 실험 결과는 제안된 GD 방식이 SVP, OptSpace, 핵 노름(nuclear norm), 트러스트-레인지(trust-region) 방법과 비교해 확장성과 실행 시간에서 경쟁력을 지님을 뒷받침한다.