[논문 리뷰] Symmetry, Saddle Points, and Global Geometry of Nonconvex Matrix Factorization

Xingguo Li, Zhaoran Wang외 5명|arXiv (Cornell University)|2016. 12. 29.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 29

한 줄 요약

이 논문은 대칭성 기반의 일반 이론을 개발하여 대칭적 구조를 가진 비볼록 최적화 문제의 기하학을 분석하고, 낮은 질량 행렬 분해와 행렬 감지에 적용한다. 매개변수 공간에 음의 곡률, 강한 볼록성 또는 큰 기울기 크기를 특징으로 하는 세 가지 구역을 식별함으로써, 임의의 초기화로부터도 반복 알고리즘의 전역 수렴 보장을 가능하게 한다.

ABSTRACT

We propose a general theory for studying the geometry of nonconvex objective functions with underlying symmetric structures. In specific, we characterize the locations of stationary points and the null space of the associated Hessian matrices via the lens of invariant groups. As a major motivating example, we apply the proposed general theory to characterize the global geometry of the low-rank matrix factorization problem. In particular, we illustrate how the rotational symmetry group gives rise to infinitely many non-isolated strict saddle points and equivalent global minima of the objective function. By explicitly identifying all stationary points, we divide the entire parameter space into three regions: ($\cR_1$) the region containing the neighborhoods of all strict saddle points, where the objective has negative curvatures; ($\cR_2$) the region containing neighborhoods of all global minima, where the objective enjoys strong convexity along certain directions; and ($\cR_3$) the complement of the above regions, where the gradient has sufficiently large magnitudes. We further extend our result to the matrix sensing problem. This allows us to establish strong global convergence guarantees for popular iterative algorithms with arbitrary initial solutions.

연구 동기 및 목표

• 대칭적 구조를 가진 비볼록 목적 함수의 기하학을 분석하기 위한 일반적인 이론적 프레임워크를 개발하는 것.
• 특히 회전 대칭성과 같은 불변군이 낮은 질량 행렬 분해의 지형을 어떻게 형성하는지 이해하는 것.
• 곡률과 기울기 행동에 기반해 매개변수 공간을 세 가지 구분된 영역으로 분류하는 것.
• 행렬 감지 문제로 분석을 확장하고 반복 알고리즘의 전역 수렴 보장을 도출하는 것.
• 군 불변 원리에 기반해 정류점과 헤시안 행렬의 영공간을 엄밀하게 기술하는 것.

제안 방법

• 불변군 이론을 활용하여 대칭적인 비볼록 문제에서 정류점의 위치와 헤시안 행렬의 영공간을 특성화하는 것.
• 행렬 분해 지형의 핵심 구조로 회전 대칭군을 식별하는 것.
• 매개변수 공간을 세 영역으로 분할: R₁(음의 곡률를 가진 엄격한 안장점 주변), R₂(강한 볼록성의 전역 최소점 주변), R₃(기울기 크기가 큰 보조 영역).
• 군 이론적 분석을 통해 회전 대칭성이 무한히 많은 비이sov된 엄격한 안장점과 동일한 전역 최소점을 유도함을 증명하는 것.
• 기하학적 특성화를 감지 설정으로 확장하여 행렬 감지 문제에 프레임워크를 적용하는 것.
• 궤적들이 안장점을 피하고 초기화에 관계없이 전역 최소점으로 수렴함을 보여, 반복 알고리즘의 전역 수렴을 확립하는 것.

실험 결과

연구 질문

• RQ1 연속적인 대칭군의 존재가 비볼록 최적화에서 정류점의 기하학에 어떤 영향을 미치는가?
• RQ2 대칭적인 비볼록 문제에서 헤시안 행렬의 영공간의 정확한 구조는 무엇이며, 불변군과의 관계는 어떠한가?
• RQ3 매개변수 공간을 곡률과 기울기 행동이 질적으로 다른 영역들로 나눌 수 있는가?
• RQ4 낮은 질량 행렬 분해에서의 회전 대칭성은 비이sov된 엄격한 안장점과 동일한 전역 최소점을 어떻게 유도하는가?
• RQ5 임의의 초기 해를 가진 대칭적인 비볼록 문제에서 반복 알고리즘의 전역 수렴 보장을 확립할 수 있는가?

주요 결과

• 낮은 질량 행렬 분해의 회전 대칭군은 무한히 많은 비이sov된 엄격한 안장점과 동일한 전역 최소점을 생성한다.
• 매개변수 공간은 세 영역으로 분할된다: R₁(음의 곡률), R₂(일부 방향에서 강한 볼록성), R₃(기울기 크기가 큰 영역).
• 헤시안 행렬은 대칭군에 따라 정렬된 비자명한 영공간을 가지며, 이는 군 불변 원리에 의해 명시적으로 기술된다.
• R₂ 영역에서 목적 함수는 대칭군에 수직인 방향에서 강한 볼록성을 보인다.
• 기하학적 구조와 안장점 피하기 덕분에 반복 알고리즘이 임의의 초기점에서 전역 최소점으로 전역 수렴한다.
• 프레임워크는 행렬 감지 문제로 확장되며, 동일한 기하 조건 하에서 전역 수렴 보장을 유지한다.