[논문 리뷰] No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis

Rong Ge, Chi Jin외 1명|arXiv (Cornell University)|2017. 04. 03.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 221

한 줄 요약

이 논문은 비볼록 저랭크 행렬 문제(행렬 센싱, 행렬 완성, 로버스트 PCA)가 왜 스퓨리어스 로컬 미니마가 없고 엄격한 saddle 특성을 보이는지, 간단한 알고리즘의 글로벌 수렴을 가능하게 하는 통일 기하학적 프레임워크를 제시한다.

ABSTRACT

In this paper we develop a new framework that captures the common landscape underlying the common non-convex low-rank matrix problems including matrix sensing, matrix completion and robust PCA. In particular, we show for all above problems (including asymmetric cases): 1) all local minima are also globally optimal; 2) no high-order saddle points exists. These results explain why simple algorithms such as stochastic gradient descent have global converge, and efficiently optimize these non-convex objective functions in practice. Our framework connects and simplifies the existing analyses on optimization landscapes for matrix sensing and symmetric matrix completion. The framework naturally leads to new results for asymmetric matrix completion and robust PCA.

연구 동기 및 목표

• 비볼록 저랭크 행렬 문제에서 최적화 지형의 이해를 자극한다.
• 로컬 미니마가 글로벌 미니마이고 saddle이 엄격하다는 프레이임워크를 개발하여 행렬 센싱, 완성, 로버스트 PCA 전반에서 설명한다.
• 비대칭 및 강건한 설정으로의 확장을 포함하여 이전 분석들을 연결하고 단순화한다.
• 그레이디언트 디센트와 로컬 탐색과 같은 간단한 최적화 방법의 효율성에 대한 함의를 제공한다

제안 방법

• M = UV^T로 저랭크 행렬을 모형화하고 비대칭 설정에서 불변성을 관리하기 위한 정규화를 추가한다.
• f의 이차 헤essian 구조를 설정하고 단일 해석 프레임워크를 통해 헷지안 기반의 지형을 분석한다.
• 제일 정렬 방향 Delta를 정의하여 개선을 연구하고 기울기-헤essian-참해결과의 주요 항등식을 도출한다.
• 제한된 아이소메트리(Properties) 및 비상관성(incoherence) 조건을 사용하여 모든 로컬 미니마가 참 저랭크 해와 일치함을 보인다.
• 비대칭 문제와 로버스트 PCA에 프레임워크를 확장하고 pseudo-strict saddle 분석을 적용한다.
• 정규화가 가능한 영역을 관리하고 좋은 영역에서의 해essian의 노름 보존 특성을 가능하게 한다

실험 결과

연구 질문

• RQ1 행렬 센싱, 행렬 완성, 로버스트 PCA가 모든 로컬 미니마가 전역 최적인 공통적인 최적화 지형을 공유하는가?
• RQ2 통합 기하학적 프레임워크가 이들 문제에 대해 스푸리어스 로컬 미니마의 부재를 증명하고 엄격한 saddle 특성을 확립할 수 있는가?
• RQ3 정규화 및 비상관성/RIP 조건이 비대칭 및 잡음 설정에서 특히 유리한 지형 속성을 보장하는 데 어떻게 상호 작용하는가?
• RQ4 비대칭 및 로버스트 PCA 문제를 이 프레임워크 내에서 대칭 PSD 형태로 축소할 수 있는가?
• RQ5 제안된 프레임워크 하에서 간단한 최적화 방법의 수렴에 대한 알고리즘적 함의는 무엇인가?

주요 결과

• 행렬 센싱, 행렬 완성, 로버스트 PCA의 모든 로컬 미니마는 글로벌 최적이며 모든 saddle 포인트는 해 Hessian의 고유값이 엄격히 음수이다(로버스트 엄격한 saddle 특성).
• 통일된 프레임워크는 이 문제들이 유사한 최적화 지형을 공유함을 보여주어 간단한 알고리즘이 종종 올바른 저랭크 해로 수렴하는 이유를 설명한다.
• 정규화는 아이터레이터를 유리한 영역에 유지시키는 데 도움을 주고, 그 영역 내에서 해essian이 노름 보존적으로 작동하도록 하여 지형 분석과 잡음에 대한 안정성을 촉진한다.
• 프레임워크는 비대칭 행렬 완성과 로버스트 PCA에 대한 새로운 결과를 제공하고, 비대칭 문제를 대칭 PSD 형태로 축소하는 합리적인 방법을 제시한다.
• 케이스에 따라 로컬 탐색 방법은 잡음 없는 설정에서 다항 시간 내에 임의 초기화로 목표 저랭크 인자에 도달할 수 있으며(잡음이 있는 설정으로 확장 가능).