[논문 리뷰] Matrix Completion has No Spurious Local Minimum

Rong Ge, Jason D. Lee외 1명|arXiv (Cornell University)|2016. 05. 24.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 186

한 줄 요약

논문은 대칭인 PSD 행렬 완성의 비볼록 objective가 스푸리어스한 로컬 최소를 갖지 않는다는 것을 증명한다; 모든 로컬 최소는 전역 최소이며, 심지어 노이즈 관측에서도 임의 초기화로부터 SGD/경사 방법이 기저의 저랭크 행렬을 찾아낸다.

ABSTRACT

Matrix completion is a basic machine learning problem that has wide applications, especially in collaborative filtering and recommender systems. Simple non-convex optimization algorithms are popular and effective in practice. Despite recent progress in proving various non-convex algorithms converge from a good initial point, it remains unclear why random or arbitrary initialization suffices in practice. We prove that the commonly used non-convex objective function for extit{positive semidefinite} matrix completion has no spurious local minima --- all local minima must also be global. Therefore, many popular optimization algorithms such as (stochastic) gradient descent can provably solve positive semidefinite matrix completion with extit{arbitrary} initialization in polynomial time. The result can be generalized to the setting when the observed entries contain noise. We believe that our main proof strategy can be useful for understanding geometric properties of other statistical problems involving partial or noisy observations.

연구 동기 및 목표

• 실용적인 비볼록 행렬 완성 방법이 무작위 초기화나 임의 초기화로 성공하는 이유를 조사한다.
• 부분적/노이즈 관측하에서 PSD 행렬 완성의 비볼록 목적함수의 기하를 특징지은다.
• 모든 로컬 최소가 전역 최소가 되도록 하는 조건을 확립하고, 경사 기반 방법의 수렴 보장을 제공한다.

제안 방법

• 관찰 집합 Ω와 불일치성(incoherence)을 강제하는 정규화 항 R(X)을 갖는 비볼록 정규화 목표함수 f(X)을 분석한다.
• 정규화된 목표함수의 모든 로컬 최소가 진짜 저랭크 해 ZZ^T와 대응함을 보인다(즉, f(X)=0이고 XX^T=ZZ^T=M).
• 부분 관찰을 전체 관찰 행태와 연결하기 위해 1차 및 2차 최적성 조건과 concentration 불평등을 사용한다.
• 관찰 지시자 1_Ω에 선형인 부등식에 집중하는 간단하고 일반화 가능한 증명 전략을 도입한다(샘플링에 강건한 기법).
• 먼저 표준 랭크 1에 대한 형식적 분석을 제공한 후, 유사한 논리로 일반 랭크 r으로 확장하고 수렴을 보장하는 tau--relaxed 2차 조건을 도입한다.

실험 결과

연구 질문

• RQ1 비볼록 PSD 행렬 완성 목적함수의 로컬 최소가 전역 최적점과 일치하는 조건은 무엇인가?
• RQ2 부분 관찰/노이즈가 풍경에 어떤 영향을 주며, 정규화가 원치 않는 지형을 피하도록 바람직한 기하를 강제할 수 있는가?
• RQ3 경사 기반 방법(SGD 포함)이 임의 초기화에서 다항 시간 내에 전역 최소로 수렴할 수 있는가?
• RQ4 PSD 행렬 완성에서 랭크 1에서 일반 랭크 r으로의 분석 확장은 어떻게 이루어지는가?

주요 결과

• 정규화된 목표의 로컬 최소는 적절한 샘플링(p) 및 불일치성 파라미터 하에서 진짜 인수 분해 XX^T=ZZ^T=M에서만 발생한다.
• 높은 확률로, 어떤 초기화에서든 SGD/경사 하강은 다항 시간 내에 전역 최소로 수렴한다.
• 결과는 노이즈에 대해 강건하며, 관측이 제어된 크기의 가우시안 노이즈로 왜곡되더라도 모든 로컬 최소는 진짜 해에 가깝게 남아 있다.
• tau-relaxed 2차 조건은 알려진 최적화 이론 결과를 통해 전역 최소로의 수렴을 보장하는 충분조건이다.
• 증명 전략은 행렬 완성과 부분적/노이즈 관찰이 있는 다른 문제들에도 일반화된다.