[논문 리뷰] Symmetry, Saddle Points, and Global Optimization Landscape of Nonconvex Matrix Factorization

Xingguo Li, Junwei Lu외 5명|arXiv (Cornell University)|2016. 12. 29.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 13

한 줄 요약

이 논문은 비볼록 행렬 분해의 전역 최적화 지형을 대칭군, 특히 회전 불변성의 특성을 활용하여 분석하는 일반 이론을 개발한다. 모든 정류점(Stationary points)을 특성화하여 무수히 많은 비격리된 엄격한 안장점과 동치의 전역 최소값을 밝히며, 기울기와 곡률 성질이 다른 세 영역으로 매개변수 공간을 나누어, 임의의 초기화로부터도 반복 알고리즘의 강력한 전역 수렴 보장을 가능하게 한다.

ABSTRACT

We propose a general theory for studying the \xl{landscape} of nonconvex \xl{optimization} with underlying symmetric structures z{for a class of machine learning problems (e.g., low-rank matrix factorization, phase retrieval, and deep linear neural networks)}. In specific, we characterize the locations of stationary points and the null space of Hessian matrices \xl{of the objective function} via the lens of invariant groups emoved{for associated optimization problems, including low-rank matrix factorization, phase retrieval, and deep linear neural networks}. As a major motivating example, we apply the proposed general theory to characterize the global \xl{landscape} of the \xl{nonconvex optimization in} low-rank matrix factorization problem. In particular, we illustrate how the rotational symmetry group gives rise to infinitely many nonisolated strict saddle points and equivalent global minima of the objective function. By explicitly identifying all stationary points, we divide the entire parameter space into three regions: ($\cR_1$) the region containing the neighborhoods of all strict saddle points, where the objective has negative curvatures; ($\cR_2$) the region containing neighborhoods of all global minima, where the objective enjoys strong convexity along certain directions; and ($\cR_3$) the complement of the above regions, where the gradient has sufficiently large magnitudes. We further extend our result to the matrix sensing problem. Such global landscape implies strong global convergence guarantees for popular iterative algorithms with arbitrary initial solutions.

연구 동기 및 목표

• 대칭적 구조를 가진 비볼록 문제의 전역 최적화 지형을 분석하기 위한 일반적 프레임워크를 개발하는 것.
• 불변군 이론을 활용해 낮은 질량의 행렬 분해에서 모든 정류점의 위치와 헤시안의 영공간(null space)을 특성화하는 것.
• 회전 대칭성이 어떻게 무수히 많은 비격리된 엄격한 안장점과 동치의 전역 최소값을 유도하는지 설명하는 것.
• 곡률과 기울기 크기 기반으로 매개변수 공간을 세 개의 구분된 영역으로 나누어 전역 수렴 분석을 가능하게 하는 것.
• 행렬 감지(Matrix sensing)에 이 프레임워크를 확장하고, 임의의 초기화로부터도 강력한 전역 수렴 보장을 제공하는 것.

제안 방법

• 특히 행렬 분해에서의 회전 불변성에 중점을 두고, 목표 함수의 대칭성 구조를 불변군 이론을 통해 분석하는 것.
• 직교 변환 Φ ∈ ℝr×r에 대한 불변성을 활용하여 모든 정류점을 명시적으로 식별하는 것.
• 매개변수 공간을 세 영역으로 분할하는 것: (R1) 음의 곡률을 가진 엄격한 안장점의 근처, (R2) 강한 볼록성을 가진 전역 최소값의 근처, (R3) 기울기 크기가 큰 나머지 부분.
• 정류점에서의 곡률 성질을 특성화하기 위해 헤시안 행렬과 그 영공간을 분석하는 것.
• 집중 부등식과 ε-넷 추론을 적용하여 표본 기반의 헤시안과 기울기의 차이를 유한하게 제한함으로써 샘플링에 대한 안정성을 확보하는 것.
• 표본 손실과 그 헤시안을 분석하여 프레임워크를 행렬 감지에 확장하고, 헤시안과 기울기가 기대값 주위에 집중됨을 증명하는 것.

실험 결과

연구 질문

• RQ1 행렬 분해에서의 회전 대칭성은 어떻게 무수히 많은 비격리된 엄격한 안장점과 동치의 전역 최소값을 유도하는가?
• RQ2 특히 곡률과 기울기 행동 측면에서 낮은 질량의 행렬 분해에서 최적화 지형의 전역 기하적 성질은 무엇인가?
• RQ3 매개변수 공간을 곡률과 기울기 특성이 뚜렷한 영역들로 의미 있게 분할할 수 있는가?
• RQ4 샘플링 하에서 헤시안과 기울기는 어떻게 행동하는가? 그리고 그 표본 추정치는 날카럽게 유한하게 제한될 수 있는가?
• RQ5 전체 지형 특성화를 바탕으로 반복 알고리즘에 대해 어떤 전역 수렴 보장을 도출할 수 있는가?

주요 결과

• 직교군 작용 하에서의 회전 대칭성으로 인해 낮은 질량의 행렬 분해 최적화 지형에는 무수히 많은 비격리된 엄격한 안장점과 동치의 전역 최소값이 존재한다.
• 매개변수 공간은 세 영역으로 나뉘며: (R1) 음의 곡률을 가진 안장점 근처, (R2) 강한 볼록성을 가진 전역 최소값 근처, (R3) 기울기 크기가 큰 나머지 부분.
• 모든 정류점에서의 헤시안 행렬은 차원 r(r−1)/2의 영공간을 가지며, 이는 회전군의 차원과 일치하여 비격리된 안장점의 존재를 확인한다.
• 표본 수 d가 Ω(N1nr/δ)일 때, 표본 헤시안과 기대 헤시안 간의 차이가 높은 확률로 유한하게 제한된다. 여기서 N1은 노름과 관련된 매개변수이다.
• d = Ω(N2√nr log(nr)/δ)일 때, 기울기 차이가 높은 확률로 유한하게 제한되어 안정적인 최적화 동역학을 보장한다.
• 전체 지형 특성화는 기울기 강하법과 같은 반복 알고리즘에 대해, 임의의 초기화로부터도 강력한 전역 수렴 보장을 암시한다.