[논문 리뷰] Global Optimality of Local Search for Low Rank Matrix Recovery

Srinadh Bhojanapalli, Behnam Neyshabur외 1명|arXiv (Cornell University)|2016. 05. 23.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 158

한 줄 요약

본 논문은 인코히런스 RIP 조건하에서 비볼록 인수화된 저랭크 행렬 복구에 거짓 양의 국소최소(spurious local minima)가 존재하지 않음을 증명하고, 무작위 초기화에서의 SGD가 다항 시간 내에 전역 최적해로 수렴함을 보인다(노이즈 없는 경우와 노이즈 있는 경우 모두).

ABSTRACT

We show that there are no spurious local minima in the non-convex factorized parametrization of low-rank matrix recovery from incoherent linear measurements. With noisy measurements we show all local minima are very close to a global optimum. Together with a curvature bound at saddle points, this yields a polynomial time global convergence guarantee for stochastic gradient descent {\em from random initialization}.

연구 동기 및 목표

• 랭크 제약 비볼록 인수화에 의한 매트릭스 센싱 문제를 동기 부여하고 분석한다.
• 인코히런스 및 RIP와 유사한 조건 하에서 거짓 국소최소의 부재를 입증한다.
• 새들 포인트가 음의 곡률을 갖는다는 것을 보이고, 무작위 시작에서의 SGD가 다항 시간 내 수렴하도록 한다.
• 노이즈가 있는 설정 및 근사적으로 저랭크인 설정으로 결과를 확장한다.
• 볼록 이완과 비교하고 초기화 및 최적화에 대한 실용적 시사점을 논의한다.

제안 방법

• _U ∈ R^{n×r}_에 의한 랭크 제약을 갖는 인수화된 목적 함수 f(U) = ||A(UU^T) − y||^2를 연구한다.
• 측정 연산자 A가 (2r, δ_{2r})-RIP를 만족하며 δ_{2r} < 1/5(노이즈 없음) 또는 < 1/10(노이즈 있음) 이다 하자.
• 일阶 및 이阶 최적성을 이용해 국소최소를 특징짓고, 직교 변환 R를 통해 U를 전역 최적해 U*와 일치시킨다.
• 거짓 국소최소의 부재를 증명한다: y = A(X*)이고 rank(X*) ≤ r이면, 어떤 국소최소에서도 UU^T = X* 이다(노이즈 없음).
• 강한 새들 속성: 비전역 임계점에서의 해석적 해의 최소 해 Hessian 고유값이 음수여서 무작위 초기화에서의 SGD가 다항 시간 내에 전역 최적해에 도달할 수 있다를 보인다.
• 근사적 저랭크 및 노이즈가 있는 경우로 확장하여, 국소최소가 노이즈 및 근사 오차에 의존하는 상한으로 X* 또는 X*_r에 가깝다는 것을 보인다.

실험 결과

연구 질문

• RQ1 인코히런스/RIP 조건 하에서 비볼록 인수화 매트릭스 센싱 문제에 거짓 국소최소가 존재하는가?
• RQ2 랭크 제약 비볼록 매트릭스 복구에서 무작위 초기화로부터 SGD가 전역 최적해로 수렴할 수 있는가?
• RQ3 노이즈가 있는 측정 및 근사적으로 저랭크인 상황이 국소최소의 품질과 위치에 어떤 영향을 미치는가?
• RQ4 전역 최적성 보장을 위한 정확한 조건(RIP 상수, 랭크, 노이즈 수준)은 무엇인가?
• RQ5 샘플 복잡도 및 필요 조건 측면에서 이 결과를 볼록 이완과 어떻게 비교할 수 있는가?

주요 결과

• (2r, δ_{2r})-RIP를 δ_{2r} < 1/5(노이즈 없음) 또는 δ_{2r} < 1/10(노이즈 있음)일 때, 모든 국소최소 U는 UU^T = X*를 만족한다(노이즈 없는 경우 완전 복원).
• 노이즈가 있는 경우, 모든 국소최소는 참 특이분해 X* = U*U*^T에 가깝고, 오차는 노이즈와 측정에 비례하는 항으로 한정된다.
• 모든 새들 포인트는 음의 곡률 방향을 가지며 탈출을 가능하게 하고, 무작위 초기화에서 전역 최적해로의 다항 시간 수렴을 가능하게 한다(엄격한 새들에 대한 기존 SGD 결과에 기인).
• 근사적 저랭크 X*의 경우, 국소최소는 ||UU^T − X*||_F가 최상의 랭크-r 근사 오차 ||X* − X_r*||_F와 δ_{2r} · ||X* − X_r*||_*의 함수로 한정된 bound를 만족한다.
• 필요한 RIP 조건과 측정 수(O(nr), 가우시안 측정)는 기존 보장에 비해 완화되거나 비슷하며, 상수 차이만 남기고 최적의 샘플 복잡도에 근접한다.
• 결과는 초기화를 SVD로 하는 것이 전역 수렴에 필요하지 않음을 시사하며, 이론과 실용적 로컬-검색 방법을 정합시킨다.